selenium爬取boss直聘招聘岗位数据
一、爬取流程
先来看一下爬取到的数据情况：
再来看一下boss直聘的页面，这时需要我们已经完成了城市的选择，将岗位名称输入到搜索框中，点击搜索之后切换到第2页。这时我们将url复制。第2页的url为：https://www.zhipin.com/web/geek/job?query=Web%E5%89%8D%E7%AB%AF%E5%B7%A5%E7%A8%8B%E5%B8%88&city=101240100&page=2
我们的逻辑就是通过更换url中“page=2”中的2构造每一页的url，实现翻页。使用selenium操作浏览器打开每一个页面之后，执行JavaScript代码将滚动条逐渐滑动至最底部，然后获取当前页面源代码，获取页面源代码之后提取页面中的数据。
二、完整代码
# 导入相关模块import re
import cs
本文转载自: https://blog.csdn.net/lyccomcn/article/details/139990553
版权归原作者 wp_tao 所有， 如有侵权，请联系我们删除。
版权归原作者 wp_tao 所有， 如有侵权，请联系我们删除。