Selenium之规避检测

背景

​ 目前很多大网站有对selenium采取了监测机制。在正常情况下我们用浏览器访问相关网站的window.navigator.webdriver的值为 undefined或者为false。而使用selenium访问则该值为true。我们如何伪装，防止被检测出来呢？

​ 这是正常浏览器访问，接下来我们看一下selenium的。

​ 怎么样，是不是被检测出来呢 ？被检测出来的话，可能会不给你数据，弹出一些警告等等，会影响网页的布局等等

应对措施：

使用随机的User-Agent：

​ 网站通常会根据User-Agent标识来判断请求是否来自真实的浏览器。通过设置随机的User-Agent，可以模拟多种浏览器行为。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random

# 创建浏览器对象
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")# 设置随机User-Agent
user_agents =["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36",# 添加其他User-Agent...]
options.add_argument(f"user-agent={random.choice(user_agents)}")# 创建浏览器对象
driver = webdriver.Chrome(options=options)

​ 我们使用了

Options

对象来配置浏览器选项，通过

add_argument()

方法设置随机的User-Agent。您可以在

user_agents

列表中添加多个常见的浏览器User-Agent，然后使用

random.choice()

方法随机选择一个User-Agent作为请求头。

​ 当然我们也可以使用python自带的UA库，不需要自己找一些UA了。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from fake_useragent import UserAgent

# 创建UserAgent对象
ua = UserAgent()# 生成随机User-Agent
user_agent = ua.random

# 创建浏览器选项
options = Options()
options.add_argument(f"user-agent={user_agent}")# 创建浏览器对象
driver = webdriver.Chrome(options=options)

设置窗口大小和位置

​ 有些网站可能会根据窗口的大小和位置来检测自动化行为。可以使用

set_window_size()

和

set_window_position()

方法设置浏览器窗口的大小和位置。

# 设置窗口大小和位置
driver.set_window_size(1024,768)
driver.set_window_position(0,0)

​ 通过设置合理的窗口大小和位置，可以使浏览器窗口看起来更像是由真实用户操作的。

延时操作

​ 加适量的延时操作可以模拟人类用户的行为模式。

import time
import random

# 等待随机时间
time.sleep(random.uniform(1,3))# 执行点击操作
element.click()# 等待一段时间
time.sleep(2)

​ 在执行某些操作之前等待一段随机的时间，或在执行点击操作后等待一小段时间，可以降低被检测的风险。

注入js脚本：

使用

execute_script()

方法修改

window.navigator.webdriver

的值。

from selenium import webdriver

# 创建浏览器对象
driver = webdriver.Chrome()# 执行 JavaScript 代码修改 window.navigator.webdriver 的值
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")# 打开网页
driver.get("https://www.taobao.com")# 继续执行其他操作...# 关闭浏览器
driver.quit()

​ 在上述代码中，我们使用 

execute_script()

 方法执行 JavaScript 代码来修改 

window.navigator.webdriver

 的值为 

undefined

，以欺骗网站的检测机制。

使用 ChromeOptions 添加 

excludeSwitches

 选项：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

创建浏览器选项

options = Options()# 添加 excludeSwitches 选项，禁用 webdriver
options.add_experimental_option("excludeSwitches",["enable-automation"])# 创建浏览器对象
driver = webdriver.Chrome(options=options)# 打开网页
driver.get("https://www.taobao.com")# 继续执行其他操作...# 关闭浏览器
driver.quit()

在上述代码中，我们使用 

add_experimental_option()

 方法添加 

excludeSwitches

 选项，并设置为 

["enable-automation"]

，以禁用 WebDriver，从而绕过网站的检测。

##### 终极策略：

from selenium.webdriver import ActionChains
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
driver = Chrome('./chromedriver',options=chrome_options)withopen('./stealth.min.js')as f:
js = f.read()#进行js注入
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{"source": js
})

driver.get('https://www.baidu.com')

```

大家如果想要这个js文件，可以上Github上找一下，这里我就分享了。

温馨提示：

​ 这些方法并不能保证适用于所有网站，因为不同的网站可能采取不同的检测机制。应该注意的是，规避网站的检测机制可能违反网站的使用条款或法律法规。在使用 Selenium 进行自动化脚本时，请确保遵守相关法律法规，并尊重网站的规则和限制。