python实战项目47：Selenium采集百度股市通数据
一、思路分析
这里以获取百度股市通股评下的投票数据为例，页面中的其他数据同理。由于此页面数据是js动态加载的，所以采用Selenium获取数据。思路很简单，通过Selenium打开页面，然后定位到“股评”选项卡，再模拟点击“今日”或者“本周”“本月”“今年”，接下来获取页面源代码，再使用xpath解析页面数据。但需要注意的是，使用Selenium打开的页面过多的话，会遇到cookie反爬。这里重点解决的是，在每次打开页面操作之前和之后，需要使用Selenium的delete_all_cookies()方法删除cookie，这样便可以绕过cookie反爬，亲测有效。
二、完整代码
import csv
import time
import re
import pandas
标签：
1024程序员节
本文转载自: https://blog.csdn.net/lyccomcn/article/details/143216212
版权归原作者 wp_tao 所有， 如有侵权，请联系我们删除。
版权归原作者 wp_tao 所有， 如有侵权，请联系我们删除。