Python爬虫——Selenium 定位节点及获取节点信息

文章目录

Python爬虫——Selenium 定位节点及获取节点信息

1、定位节点

当我们想要操作一个节点时，必须先找到这个节点，通过 Selenium 提供的定位节点的方法可以获取到想要的节点，获取节点后可以选择是执行下一步动作（如填充表单、模拟点击等）还是提取数据。

Selenium 4 之前使用 find_element_by_*() 方法定位节点，Selenium 4之后使用 find_element()方法。

使用find_element_by_*() 方法只需导入 from selenium import webdriver，使用 find_element() 方法除了导入 from selenium import webdriver ，还要导入 from selenium.webdriver.common.by import By。

Selenium4 提供了 8 种定位（单）节点的方法，如下表所示：
方法说明find_element(By.ID)通过 id 属性值定位节点find_element(By.NAME)通过 name 属性值定位节点find_element(By.CLASS_NAME)通过 class 属性值定位节点find_element(By.TAG_NAME)通过 tag 标签名定位节点find_element(By.LINK_TEXT)通过

<a>

标签内文本定位节点，即精准定位。find_element(By.PARTIAL_LINK_TEXT)通过

<a>

标签内部分文本定位节点，即模糊定位。find_element(By.XPATH)通过 xpath 表达式定位节点find_element(By.CSS_SELECTOR)通过 css 选择器定位节点
find_element找的是第一个符合条件的节点，

如果要查找所有符合条件的标签，需要用 find_elements，find_elements 的返回值是列表类型，可以用for循环遍历里面的节点。

定位节点使用实例

from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器对象并访问网站
browser = webdriver.Chrome()
url ="https://www.baidu.com"
browser.get(url)# 根据 id 定位
browser.find_element(By.ID,'su')# 根据 name 定位# 返回第一个元素
browser.find_element(By.CLASS_NAME,'fenlei')# 返回所有元素
browser.find_elements(By.CLASS_NAME,'fenlei')# 根据 class 定位
browser.find_element(By.NAME,'title-text c-font-medium c-color-t')
browser.find_elements(By.NAME,'title-text c-font-medium c-color-t')# 根据标签名称定位
browser.find_element(By.TAG_NAME,'input')
browser.find_elements(By.TAG_NAME,'input')# 使用链接文本定位超链接
browser.find_element(By.LINK_TEXT,'index')
browser.find_elements(By.LINK_TEXT,'index')
browser.find_element(By.PARTIAL_LINK_TEXT,'index')
browser.find_elements(By.PARTIAL_LINK_TEXT,'index')# 使用 xpath 定位
browser.find_element(By.XPATH,'//input[@id="su"]')
browser.find_elements(By.XPATH,'//input[@id="su"]')# 使用 CSS 选择器定位
browser.find_element(By.CSS_SELECTOR,'#su')
browser.find_elements(By.CSS_SELECTOR,'#su')# 关闭浏览器
browser.close()

2、获取节点信息

使用get_attribute()方法获取节点中指定属性的属性值，参数为节点中的属性

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url ="https://www.baidu.com"
browser.get(url)# 定位节点
element = browser.find_element(By.ID,'su')# 获取class的属性值print(element.get_attribute('class'))# 获取id的属性值print(element.get_attribute('id'))# 获取type的属性值print(element.get_attribute('type'))# 获取value的属性值print(element.get_attribute('value'))

browser.close()

定位到的节点：

执行结果：

bg s_btn
su
submit
百度一下

使用 .tag_name 方法获取节点的标签名

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url ="https://www.baidu.com"
browser.get(url)# 定位节点
element = browser.find_element(By.ID,'su')# 获取节点的标签名print(element.tag_name)

执行结果：

input

使用 .text 获取节点文本，没有文本则不返回

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url ="https://www.baidu.com"
browser.get(url)# 根据a标签的文本定位节点
element1 = browser.find_element(By.LINK_TEXT,"地图")# 获取节点内容print(element1.text)
browser.close()

定位的a标签：

执行结果：

地图

使用.size 获取节点的大小（也就是宽高）

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url ="https://www.baidu.com"
browser.get(url)

element1 = browser.find_element_by_link_text("地图")# 获取节点的宽高print(element1.size)
browser.close()

执行结果：

{'height': 23, 'width': 26}