Python学习：用Selenium读取网页表格

1.获取表格元素：

表格的结构一般以table标签开始，此函数是获取table元素的，一个网页中可能不止一个表格，此处返回表格元素的列表。

defGetTableElements():'''获得table标签元素列表，方便选择合适的表格'''
    driver = GetDriver()# 参考：selenium 根据 tag名 选择元素  https://blog.csdn.net/weixin_41665637/article/details/111315408
    elements = driver.find_elements_by_tag_name('table')return elements

2.获取表格头的列信息：

返回值形如 [‘列1的名字’, ‘列2的名字’]

def_GetHeadList(table):'''
    功能：返回表格列的名称列表
    参数：table：对应的表格元素
    '''
    thead = table.find_element_by_tag_name('thead')
    tr = thead.find_element_by_tag_name('tr')
    ths = tr.find_elements_by_tag_name('th')
    res =[]for th in ths:
        res.append(th.text)return res

3.读取一行里面的信息：

其中heads就是从表头中获取的每一列的名字列表。

def_GetOneRow(tr,heads):'''
    功能：取得一行的信息
    tr：当前行的tr元素
    heads：是一个字符串列表，表示每一列的名称
    返回值：返回一个字典，形如：{'Row1': value1, 'Row2':value2}
    '''
    res ={}
    tds = tr.find_elements_by_tag_name('td')for i,td inenumerate(tds):
        res[heads[i]]= td
    return res

4.获取表格每一个单元格对象：

defGetTable(table):'''
    功能：返回表格信息
    参数：table：对应的表格元素
    '''
    res =[]# Python学习交流群：711312441 # 获得表格头
    heads = _GetHeadList(table)
     
    tbody = table.find_element_by_tag_name('tbody')
    trs = tbody.find_elements_by_tag_name('tr')for tr in trs:
        row = _GetOneRow(tr,heads)
        res.append(row)return res

5.也可以把单元格对象转换成文本：

defGetTableText(table):'''与GetTable函数相比，此函数把元素对象转换成文本'''
    res =[]
    table = GetTable(table)for row in table:
        tmpRow ={}for key in row.keys():
            tmpRow[key]=row[key].text
        res.append(tmpRow)return res