基于Selenium实现操作网页及操作windows桌面应用

Selenium操作Web页面

Why?

1. 通常情况下，网络安全相关领域，更多是偏重于协议和通信。
2. 但是，如果协议通信过程被加密或者无法了解其协议构成，是无法直接通过协议进行处理。此时，可以考虑模拟UI操作，进而实现相对应的部分功能。

原理

1. 运行被操作的程序，使其界面出现
2. 找到被操作的界面元素 1. 基于元素的特征进行识别2. 图像识别和对比3. opencv
3. 对其进行操作：输入、单击、右键等
4. 对操作后的结果进行验证，确认操作是成功的
5. Selenium Webdriver的通信机制：Python模拟客户端发送HTTP请求给WebDriver，WebDriver再驱动浏览器去执行

基于Selenium实现dvwa_ui

问题：

1. 运行代码后打开网页闪退
2. 解决方法： 1. selenium版本回退到4.1.1

pip uninstall selenium            # 卸载已安装版本
pip install selenium==4.1.1        # 安装指定版本

tips：

1. 如果要操作windows元素，则可以使用库uiautomation
2. 如果要处理移动端，可以使用库Appium-Python-Client
3. scapy，比socket更加底层的框架

from selenium import webdriver
import time
# 第一步，先实例化webdriver对象，用于初始化浏览器操作# 默认情况下，建议将chromedriver.exe等放在PATH环境变量的某个目录中，否则需要在参数中指定execute_path='C:/xxx/xxx.exe'# driver = webdriver.Chrome(executable_path='C:/chromedriver.exe')
driver = webdriver.Chrome()# 使用火狐# driver=webdriver.Firefox()# 最大化浏览器窗口
driver.maximize_window()
time.sleep(2)# 打印网页标题print(driver.title)# 打印网页源码print(driver.page_source)# 刷新
driver.refresh()# 后退
driver.back()# 前进
driver.forward()# 获取对应的所有cookie
driver.get_cookies()# 添加cookie# 关闭浏览器窗口# 访问目标网站的页面地址
url="http://www.myfsec.com/login.php"
driver.get(url)# 第二步：利用DOM的识别机制，去识别和操作页面元素# 旧方法，将弃用# driver.find_element_by_name('username').send_keys('admin')# driver.find_element_by_name('password').send_keys('password')

driver.find_element('name','username').send_keys('admin')
driver.find_element('name','password').send_keys('password')# 将弃用# 根据xpath与css选择器定位元素# driver.find_element_by_xpath("//input[@id='verifycode']").secd_keys('0000')# driver.find_element_by_xpath('//*[@id="content"]/form/fieldset/p/input').click()# driver.find_element_by_css_selector("#content > form > fieldset > p > input[type=submit]")# 推荐使用# driver.find_element('xpath',"//*[@id='content']/form/fieldset/p/input").click()
driver.find_element('css selector',"#content > form > fieldset > p > input[type=submit]").click()# # 打印网页标题# print(driver.title)# # 打印网页源码# print(driver.page_source)# 判断是否登陆成功，可以看网页中的某个元素是否存在try:
    driver.find_element("id","main_body")print("登陆成功")except:print("登陆失败")# 或者if"Welcome to Damn Vulnerable Web Application!"in driver.page_source:print("登陆成功")else:print("登陆失败")
driver.close()

chromdriver驱动下载：（谷歌）

1. 114之前版本： 1. chromedriver.storage.googleapis.com/index.html
2. 125以后版本 1. Chrome for Testing availability (googlechromelabs.github.io)

geckodriver驱动下载（火狐）

发布 ·Mozilla/GeckoDriver (github.com)

补充，selenium操作windows–UIAutomation

其实使用selenium操作windows窗口最主要的的是像浏览器的F12一样，识别他的布局结构，从而获取相应的元素进行操作，因此我们需要用到一个工具：UISpy

例如：驱动windows下的wechat

import uiautomation,time
defget_moment_list(moment):
    moment_list=moment.ListControl(Name="朋友圈").GetChildren()# 获取朋友圈列表，目前只能获取看到的前几条，后面的需要滚动条滚动才能获取，滚动还没实现return moment_list
# 定位到朋友圈框deflocate_wechat_moment():
    wechat=uiautomation.WindowControl(Name="微信")# 加载微信框
    wechat.ButtonControl(Name="朋友圈").Click()# 点击朋友圈按钮# time.sleep(1)                                           # 等待1秒
    moment=uiautomation.WindowControl(Name="朋友圈")# 加载朋友圈框
    moment.ButtonControl(Name="刷新").Click()# 点击刷新按钮
    moment_list=get_moment_list(moment)[1:]print(len(moment_list))
    moment.WheelDown(wheelTimes=12, interval=0.1, waitTime=0.5)
    close_moment_btn=moment.ButtonControl(Name="关闭")
    close_location=close_moment_btn.BoundingRectangle

    print(close_location)whileTrue:
        moment_list=get_moment_list(moment)
        moment_bottom=moment.BoundingRectangle
        print(moment_bottom)for friend in moment_list:
            friend_bottom=friend.BoundingRectangle
            print(friend_bottom)print(friend.Name)try:if friend_bottom.bottom<40:passelse:

                    friend.ButtonControl(Name="评论").Click()# 点击评论按钮,目的是为了显示出点赞按钮

                    moment.ButtonControl(Name="取消").Click()# 点击赞按钮print("点赞成功")except:print("点赞失败")finally:
                y=friend.BoundingRectangle.bottom
                print(y)
                moment_list=get_moment_list(moment)
                moment.WheelDown(wheelTimes=y//20, interval=0.1, waitTime=0.5)if __name__ =='__main__':
    locate_wechat_moment()

验证码问题

1. 短信验证码：用自己的手机获取验证码，然后用Python直接操作手机端提取验证码，进而实现自动化操作的目的。
2. 图像验证码：静态和动态，静态的图片验证码，在没有AI之前利用打码平台进行识别或人工智能训练集进行处理，而对于动态类型验证码，比如图像滑动
3. 机器学习 1. 可处理的类型：文字、图片、视频、语音2. 怎么进行学习？CNN：卷积神经网络 1. 安装库tensorflow.keras.models…3. 学习数据必须要有正确的标记：图片和正确答案，4. 网络安全的AI应用：入侵检测， 1. 传统的入侵检测：基于特征，某个流量或请求存在一些可以的特征时，进行预警或防护2. 基于AI的入侵检测：基于机器学习，学习大量的正确的数据包和请求，一旦发现某个数据包与某个学习过的匹配度很低，则可疑