一、Selenium简介
Selenium 包含 3 大组件,Selenium IDE、Selenium WebDriver、Selenium Grid。
Selenium IDE:负责录制、回放脚本,模拟用户对页面的真实操作。
Selenium WebDriver:提供 API 来操作浏览器。
Selenium Grid:用于分布式自动化测试,可以控制多台机器、多个浏览器并行执行测试用例。
二、Selenium Grid Docker部署
先在服务器安装好docker服务,并建议设置好国内加速器(我用的是阿里)。
由于docker需要开启端口映射,所以服务器需要启用ipv4转发:
vim /etc/sysctl.conf
#添加以下配置
net.ipv4.ip_forward=1
#重启网络服务
systemctl restart network
#查看结果为1表示已开启
sysctl net.ipv4.ip_forward
(一)同一主机内部署Selenium Grid
互联网环境下
- 创建网络
docker network create grid
- 创建hub容器(若不指定版本此过程会pull最新版本镜像并进行装载)
docker run -d -p 4442-4444:4442-4444 --net grid --name selenium-hub selenium/hub
- 创建node容器
docker run -d --net grid -e SE_EVENT_BUS_HOST =selenium-hub \
--shm-size= " 2g " \
-e SE_EVENT_BUS_PUBLISH_PORT=4442 \
-e SE_EVENT_BUS_SUBSCRIBE_PORT=4443 \
--name selenium-node-chrme1 selenium/node-chrome
若需多个node,可重复执行以上命令,修改--name即可。
- 查看镜像
- 查看容器运行状态
- 查看控制台
地址:http://IP地址:4444/ui/index.html#/
内网环境下
- 在有互联网环境且安装docker的主机上pull镜像(若不指定版本则自动下载最新版本)
docker pull selenium/hub
docker pull selenium/node-chrome
docker images #查看到下载到本地的镜像。
- 导出镜像
docker save -o node.tar selenium/node-chrome:latest
docker save -o hub.tar selenium/hub:latest
- 将导出的tar上传到内网目标主机后进行导入
docker load -i node.tar
docker load -i hub.tar
- 重复如上互联网环境下操作即可
(二)在多台主机搭建Selenium Grid
Hub 和 Nodes 将创建在不同的机器/VM 上,它们需要知道彼此的 IP才能正常通信。如果多个节点将在同一机器/VM 上运行,则必须将它们配置为公开不同的端口。
在多台主机搭建与在同一主机内搭建Selenium集群步骤相似,只是在创建容器时参数不同。
- 在主机A创建hub容器
docker run -d -p 4442-4444:4442-4444 --name selenium-hub selenium/hub
- 在主机B创建node容器1
docker run -d -p 5555:5555 \
--shm-size="2g" \
-e SE_EVENT_BUS_HOST=主机A的IP地址 \
-e SE_EVENT_BUS_PUBLISH_PORT=4442 \
-e SE_EVENT_BUS_SUBSCRIBE_PORT=4443 \
-e SE_NODE_HOST=主机B的IP地址 \
-e SE_NODE_PORT=5555 \
selenium/node-chrome
- 在主机B创建node容器2(需要修改容器2监听端口,避免冲突)
docker run -d -p 5556:5556 \
--shm-size="2g" \
-e SE_EVENT_BUS_HOST=主机A的IP地址 \
-e SE_EVENT_BUS_PUBLISH_PORT=4442 \
-e SE_EVENT_BUS_SUBSCRIBE_PORT=4443 \
-e SE_NODE_HOST=主机B的IP地址 \
-e SE_NODE_PORT=5556 \
selenium/node-chrome
(三) 使用docker-compose
在有docker-compose的机器也可使用更简便的启动selenium grid。
# To execute this docker-compose yml file use `docker-compose -f docker-compose-v3.yml up`
# Add the `-d` flag at the end for detached execution
# To stop the execution, hit Ctrl+C, and then `docker-compose -f docker-compose-v3.yml down`
version: "3"
services:
chrome:
image: selenium/node-chrome:4.1.2-20220317
shm_size: 2gb
depends_on:
- selenium-hub
environment:
- SE_EVENT_BUS_HOST=selenium-hub
- SE_EVENT_BUS_PUBLISH_PORT=4442
- SE_EVENT_BUS_SUBSCRIBE_PORT=4443
edge:
image: selenium/node-edge:4.1.2-20220317
shm_size: 2gb
depends_on:
- selenium-hub
environment:
- SE_EVENT_BUS_HOST=selenium-hub
- SE_EVENT_BUS_PUBLISH_PORT=4442
- SE_EVENT_BUS_SUBSCRIBE_PORT=4443
firefox:
image: selenium/node-firefox:4.1.2-20220317
shm_size: 2gb
depends_on:
- selenium-hub
environment:
- SE_EVENT_BUS_HOST=selenium-hub
- SE_EVENT_BUS_PUBLISH_PORT=4442
- SE_EVENT_BUS_SUBSCRIBE_PORT=4443
selenium-hub:
image: selenium/hub:4.1.2-20220317
container_name: selenium-hub
ports:
- "4442:4442"
- "4443:4443"
- "4444:4444"
docker-compose up -d即可
三、使用Python调用Selenium Grid
1. Python服务器环境准备
我这里使用的Selenium 4.1版本,要求Python版本3.7+
python下载地址:Download Python | Python.org
下载后自行安装即可。
2.在Python服务器安装Selenium client webdirver模块
Selenium客户端驱动支持多种浏览器/驱动程序(Firefox、Chrome、Internet Explorer)以及远程协议。
若服务器可以访问互联网,可以使用pip进行安装
pip install selenium
若服务器无法访问互联网,可在有互联网的机器pip download下载,在内网主机pip进行安装即可。
或者在有互联网的同版本操作系统中将python环境准备好后,把python目录打包放到内网主机。
3. Selenium通过驱动程序与所选浏览器交互
若不使用Selenium Grid,而是通过selenium webdirver来调用本地浏览器,则需要在本机安装浏览器驱动程序。主流浏览器驱动程序下载地址如下表:
Chrome:
ChromeDriver - WebDriver for Chrome - Downloads
Edge:
Microsoft Edge WebDriver - Microsoft Edge Developer
Firefox:
Releases · mozilla/geckodriver · GitHub
Safari:
WebDriver Support in Safari 10 | WebKit
下载完成后解压,将驱动程序放到$PATH中,如/usr/bin或/usr/local/bin。
unzip chromedriver_linux64.zip
mv chromedriver /usr/bin
windows同理。
若使用docker版本Selenium Grid,则不需要准备浏览器驱动程序,Selenium Grid镜像中已准备好对应的浏览器驱动程序。
4. python调用Selenium Grid代码示例
seleniumdemo.py示例:
#coding=utf-8
from selenium import webdriver
selenium_grid_url = "http://XXXXXXXXXXXX:4444/wd/hub"
CHROME= {"browserName": "chrome"}
browser = webdriver.Remote(desired_capabilities=CHROME,command_executor=selenium_grid_url)
browser.get("http://fanyi.baidu.com")
browser.find_element_by_id("baidu_translate_input").send_keys("hello world")
print(browser.current_url)
browser.get_screenshot_as_file(r"/tmp/chrome.png")
browser.quit()
启动 python demo
python3 seleniumdemo.py
可以在控制台看到正在执行任务
执行完成后,可以查看截图如下(demo里没有写关闭提示框,但实际已经翻译了的):
四、 VCN、noVNC
在浏览器执行过程中,我们可以远程进行观看与调试,selenium提供了VCN客户端与浏览器两种远程方式。
(一)使用VNC客户端连接方式
VNC服务器默认监听端口为5900,在启动容器时需要添加参数-p 5900:5900将内部端口5900映射到外部端口。
然后就可以使用VNC客户端进行连接,默认密码为secret。
(二)使用浏览器(noVNC)
NoVNC服务器默认监听端口为7900,在启动容器时需要添加参数-p 7900:7900将内部端口7900映射到外部端口。
然后就可以使用浏览器进行连接,默认密码为secret。
五、配置解析
--shm-size="2g" ,/dev/shm分区大小,默认64MB,官方建议配置为2GB
-e SE_EVENT_BUS_HOST= ,hub服务器地址 -e SE_EVENT_BUS_PUBLISH_PORT= , hub服务器的发布端口 -e SE_EVENT_BUS_SUBSCRIBE_PORT= , hub服务器的发布端口 -e SE_NODE_HOST= ,node服务器主机
-e SE_NODE_PORT= ,node服务器端口
-e SCREEN_WIDTH= ,屏幕分辨率宽度
-e SCREEN_HEIGHT= ,屏幕分辨率高度
-e SCREEN_DEPTH= ,颜色深度
-e SCREEN_DPI= ,屏幕DPI
-e START_XVFB=false , 以无头模式运行
-e SE_SESSION_REQUEST_TIMEOUT=, 请求队列超时时间
-e SE_SESSION_RETRY_INTERVAL= ,请求队列重试时间
-e SE_NODE_MAX_SESSIONS = ,调整node容器内最大session数,默认为1,若输入数值超过cpu核数,此值会自动设置为cpu核数,若想解除受cpu核心数限制,需要添加以下参数
-e SE_NODE_OVERRIDE_MAX_SESSIONS=true,解除sessions最大限制
参考文章:
Docker-Selenium Github 地址: GitHub - SeleniumHQ/docker-selenium: Docker images for the Selenium Grid Server
Selenium Github地址:GitHub - SeleniumHQ/selenium: A browser automation framework and ecosystem.
Selenium 客户端驱动官方文档:Selenium Client Driver — Selenium 4.1.0 documentation
Selenium API文档:Selenium Documentation — Selenium 4.1.0 documentation
版权归原作者 伟大的伟群众的群 所有, 如有侵权,请联系我们删除。