python-selenium爬取页面数据

1、python控制已经打开的浏览器

首先需要这个打开的浏览器是固定端口，可以通过运行一下代码来打开一个浏览器

import os
# 打开谷歌浏览器，端口号为9220
os.system('start chrome.exe --remote-debugging-port=9220')

2、python selenium 操作需要获取页面中请求的响应数据

参考这篇：

【Selenium】Selenium获取Network数据（高级版）_是小菜欸的博客-CSDN博客_selenium获取network好消息好消息！！🎈🎈现在只用Selenium就可以完成 mitmproxy + Selenium 的组合才能完成的操作~~~Selenium获取Network，Selenium获取XHR数据，Selenium获取Network数据，很详细。https://blog.csdn.net/weixin_45081575/article/details/126551260

import json

from selenium import webdriver
from selenium.common.exceptions import WebDriverException
from selenium.webdriver.chrome.options import Options

caps = {
    "browserName": "chrome",
    'goog:loggingPrefs': {'performance': 'ALL'}  # 开启日志性能监听
}
# }
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9220")  # 指定端口为9220
driver = webdriver.Chrome(desired_capabilities=caps,options = options)
driver.get('https://www.baidu.com')  # 访问该url

def filter_type(_type: str):
    types = [
        'application/javascript', 'application/x-javascript', 'text/css', 'webp', 'image/png', 'image/gif',
        'image/jpeg', 'image/x-icon', 'application/octet-stream'
    ]
    if _type not in types:
        return True
    return False

performance_log = driver.get_log('performance')  # 获取名称为 performance 的日志
# print(performance_log)
for packet in performance_log:
    message = json.loads(packet.get('message')).get('message')  # 获取message的数据
    if message.get('method') != 'Network.responseReceived':  # 如果method 不是 responseReceived 类型就不往下执行
        continue
    packet_type = message.get('params').get('response').get('mimeType')  # 获取该请求返回的type
    if not filter_type(_type=packet_type):  # 过滤type
        continue
    requestId = message.get('params').get('requestId')  # 唯一的请求标识符。相当于该请求的身份证
    url = message.get('params').get('response').get('url')  # 获取 该请求  url

    try:
        resp = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': requestId})  # selenium调用 cdp
        #这个路径可以根据需要的地址进行更改，找到需要的请求才打印
        if "/reuse/activity/query/list" in url:
            print(f'type: {packet_type} url: {url}')
            print(f'response: {resp}')
            print()
    except WebDriverException:  # 忽略异常
        pass

3、保存文件到csv中

import csv
data={0:[a,b,c],1:[d,e,f]}
with open(r'data.csv','a',newline='') as f:
    writer = csv.writer(f)
    for a in range(len(data)):
        # print(a)
        writer.writerow(data[a])

4、使用代理进行页面请求获取页面响应信息

from browsermobproxy import Server
from selenium.webdriver.chrome.options import Options
from selenium import webdriver

# 开启Proxy，先要下载好 browsermob-proxy，地址放进括号中
server = Server(r'browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()

# 配置Proxy启动WebDriver
chrome_options = Options()
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
# 解决 您的连接不是私密连接问题
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-urlfetcher-cert-requests')
driver = webdriver.Chrome(options=chrome_options)
driver.implicitly_wait(20)

proxy.new_har("test", options={'captureHeaders': True, 'captureContent': True})
#进行页面操作
driver.get("http://www.baidu.com")
#获取请求信息
result = proxy.har
i = 0
#遍历寻找合适信息
for entry in result['log']['entries']:
    _url = entry['request']['url']
    print(_url)
    # 根据URL找到数据接口
    if "/yum/report/ipcc/his" in _url:
        #继续进行拿取操作
        print(i)
        content = entry['response']['content']

5、时间

获取当前时间，然后获取，年、月、日、时、分

hour = datetime.datetime.now().hour
minute = datetime.datetime.now().minute

获取今天日期，求昨天的日期，最后格式化昨天日期

today = datetime.datetime.today()
yesterday = today - datetime.timedelta(days=1)
dic["date"] = yesterday.strftime('%Y-%m-%d')

6、字典类型保存到数据库

import pymysql

conn = pymysql.connect(host="", port=, user="", passwd="", db='')
# 使用cursor()方法创建一个游标对象
cursor = conn.cursor()

#date必须是个字典类型，并且字典的key和数据库中的字段需要匹配，table是需要保存到的表名
def save(date, table):
    # 表名
    keys = ','.join(date.keys())  # 列字段
    values = ', '.join(['%s'] * len(date))  # 行字段
    sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
    # 使用execute()方法执行SQL语句
    res = cursor.execute(sql, tuple(date.values()))
    conn.commit()