python爬虫：selenium+browsermobproxy实现浏览器请求抓取（模块安装详解）

前言

    本来很多场景用beautiful和requests就能解决的，但是最近发现了某些网站会使用<link>来链接网页信息，让我没办法通过requests获取页面的具体内容；并且接口也加入了某种token的生成方案，导致我无从下手。

    因此，我使用了selenium+browsermobproxy的方案来解决这个问题（它可以抓取到你通过浏览器F12可以看到的几乎所有的资源）。

    **这里是模块的安装方案，如需源码则关注后篇博客**。

模块安装

    首先，你需要弄到两个东西，本机浏览器对应版本的driver驱动，还有浏览器代理程序

下载

    浏览器代理程序：https://github.com/lightbody/browsermob-proxy/releases 

    chrome浏览器驱动下载地址：Chrome for Testing availability 

    如果你不想使用chrome浏览器，那么你需要自己去找这个驱动下载的链接 

解压和所需的目标

    解压后你将得到这两个东西，这是你后面要使用的关键

python模块安装

     如下安装这两个python模块

pip install browsermob-proxy
pip install selenium