python爬虫实战 scrapy+selenium爬取动态网页

最近学习了scrapy爬虫框架，想要找个目标练练手。由于现在很多网页都是动态的，因此还需要配合selenium爬取。本文旨在记录这次学习经历，如有疑问或不当之处，可以在评论区指出，一起学习。

目录

scrapy与selenium

对scrapy不了解的同学可以阅读这篇文章 爬虫框架 Scrapy 详解，对scrapy框架介绍的非常详尽。

Selenium简单来说就是一种用于测试Web应用程序的自动化工具。它可以模拟用户在浏览器中的各种操作，如点击、输入、选择、拖放等，以及对页面进行断言验证。在这里可以帮助我们获取到动态网页的数据。

准备工作

相关库以及chromedriver的安装

我们需要安装两个库，一个是selenium库，还有一个是scrapy库。

pip install selenium // 安装selenium库
pip install scrapy   // 安装scrapy库

除此之外，还需要安装chromedriver.exe，如果电脑上没有谷歌浏览器就还需要安装谷歌浏览器。chromedriver.exe的安装可以看我的这篇文章python爬虫学习日志 使用selenium爬取动态网页数据

目标内容

获取某站目标视频的标题、播放量、发布日期、时长、点赞量、投币量、收藏量。
由于版权问题这里不能放出相应视频的图片，各位如有需要可以自行了解。

具体实现

准备工作完成之后就可以开始编写我们的代码啦~

创建项目

打开pycharm的终端或者cmd窗口，进入想要放置爬虫文件的目录，我这里是直接在pycharm的项目目录里创建的，然后输入以下命令

scrapy startproject bili //bili是自定义的爬虫项目名称

如果返回了以下信息，说明项目创建成功了。

然后我们就可以在pycharm左侧的文件栏看到我们创建的爬虫项目里的文件了。

创建之后，我们需要把下载的chromedriver.exe文件移至和scrapy.cfg同目录下，如图所示。

编写items.py文件

items.py文件是用来定义我们需要爬取的数据的，首先编辑它可以帮我们完成数据建模，之后按照items.py中的变量来匹配我们的数据就行了。

import scrapy

classBiliItem(scrapy.Item):// define the fields for your item here like:// name = scrapy.Field() // 这是scrapy提供给我们建模的格式，按照这个来就行
    title = scrapy.Field()//视频标题
    play = scrapy.Field()// 播放量
    dianzan = scrapy.Field()//点赞量
    toubi = scrapy.Field()//投币量
    shoucang = scrapy.Field()//收藏量
    date = scrapy.Field()//发布日期
    time = scrapy.Field()//视频时长

这样一来，我们的items.py就文件就算编写完成了。

编写middlewares.py文件

接下来编写middlewares.py文件，也就是中间件。
中间件包括两种中间件，一种是爬虫中间件，还有一种是下载器中间件，每种中间件都有自己对应的功能，这里不再展开讲，想要了解的同学可以自己去查找相关信息。在这次实战中我们只需要通过编写下载器中间件对接selenium实现获取动态网页的源码这一功能。
代码如下：

from scrapy import signals
from selenium import webdriver
from scrapy.http import HtmlResponse

// 只需要修改下载器中间件，爬虫中间件不用管classBiliDownloaderMiddleware:// 当下载器中间件开始工作时，自动打开一个浏览器
    def __init__(self):
        self.driver = webdriver.Chrome()

    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        s =cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)// 下面这一行需要手动添加，作用是调用关闭浏览器的函数
        crawler.signals.connect(s.spider_closed, signal=signals.spider_closed)return s
        
    // 每当爬虫文件向目标网址发送一次请求都会调用这个函数，用处就是返回该网址的源码
    def process_request(self, request, spider):
        self.driver.get(request.url)// 使用浏览器打开请求的URL
        body = self.driver.page_source  // 获取网页HTML源码returnHtmlResponse(url=self.driver.current_url, body=body, encoding='utf-8', request=request)

    def process_response(self, request, response, spider):return response

    def process_exception(self, request, exception, spider):
        pass

    def spider_opened(self, spider):
        spider.logger.info("Spider opened: %s"% spider.name)// 该函数需要手动添加，作用是关闭浏览器
    def spider_closed(self, spider):
        self.driver.close()
        spider.logger.info("Spider closed: %s"% spider.name)

编写爬虫文件

完成了中间件的编写之后就可以开始编写我们的爬虫文件了。爬虫文件需要我们手动创建。具体流程是在spiders目录下新建一个.py文件，文件名可以自拟。

创建之后，就可以编写爬虫文件了。代码如下

// 使用哪种解析库可以根据自己的习惯选择，只要能获得目标数据就行import scrapy
from bs4 import BeautifulSoup
// 这里需要导入之前编写的items.py文件中的BiliItem类，[..]表示上一目录
from ..items import BiliItem  
import re
from lxml import etree

classbilibili(scrapy.Spider):// 类名自拟，但是一定要在括号里写scrapy.Spider表示继承父类
    name ='bilibili'// 爬虫名，自拟
    allowed_domains =['space.bilibili.com']// 定义域名，相当于是给爬虫规定了爬取的范围
    start_urls =['https://space.bilibili.com/1629347259/video']// 定义开始爬取的网页
    page =1// 如果想要爬取多页数据，需要定义爬取初始的页数，这里是1// 后续页数的网址，需要自己观察翻页后网址的变化得出规律
    base_url ='https://space.bilibili.com/1629347259/video?tid=0&page={}'// 重写父类方法，解析相应网页
    def parse(self, response,**kwargs):// 这里的response是下载器中间件返回给爬虫的网页源码，对此进行解析即可获得想要的数据// 以下内容都是根据相应的网页源码选择合适的方法进行数据的提取，可以根据自己的需求编写。
        bs =BeautifulSoup(response.text,'lxml')// tag_list是一个包括了很多个tag标签的列表，每个tag标签中都有视频的网址、标题、时长等数据
        tag_list = bs.select('#submit-video-list > ul.clearfix.cube-list > li')// 遍历取出每个tag标签for index, j inenumerate(tag_list):// 创建一个item实例，用于存储相应数据，它类似于字典
            item =BilibiliItem()// 获得网址，但这个网址不完整
            video_url = j.a['href']// 获得视频标题文本
            video_title = j.find('a', class_='title').text 
            // 获得视频时长文本
            video_time = j.find('span', class_="length").text
            // 使用正则表达式把获得到的不完整的网址修改为正确的网址，之后可以进入这些网址再获取其他数据
            pattern = r'//'
            video_url = re.sub(pattern,'https://', video_url)// 将标题和时长以键值对的形式写进item实例中。
            item['title']= video_title
            item['time']= video_time
            // 这里需要用yield将相应数据提交给引擎，由引擎分配后续工作// url=video_url表示会将视频的网址提交给引擎，引擎会把这个网址转交给中间件，中间件又会将相应源码提供给爬虫文件// callback表示获取到相应源码后会将它交给爬虫文件中哪个函数进行处理// meta={'item': item}的作用是把目前的item实例转移给下一个函数使用或编辑。// dont_fillter=True表示不过滤重复的请求。yield scrapy.Request(url=video_url, callback=self.parse_detail, meta={'item': item}, dont_filter=True)// 如果需要爬多页数据可以编写这一串代码，具体多少页可以根据自己的需求来if self.page <=3:
            self.page +=1
            new_url = self.base_url.format(self.page)yield scrapy.Request(url=new_url, callback=self.parse)// 这里是定义对视频网址信息的获取的函数，思路与parse()函数类似
    def parse_detail(self, response):
        html = etree.HTML(response.text)
        play = html.xpath('//*[@id="viewbox_report"]/div/div/span[1]/text()')
        date = html.xpath('//*[@id="viewbox_report"]/div/div/span[3]/span/span/text()')
        dianzan = html.xpath('//*[@id="arc_toolbar_report"]/div[1]/span[1]/span/text()')
        toubi = html.xpath('//*[@id="arc_toolbar_report"]/div[1]/span[2]/span/text()')
        shoucang = html.xpath('//*[@id="arc_toolbar_report"]/div[1]/span[3]/span/text()')
        item = response.meta['item']
        item['play']= play[0].strip()
        item['date']= date[0].strip()
        item['dianzan']= dianzan[0].strip()
        item['toubi']= toubi[0].strip()
        item['shoucang']= shoucang[0].strip()// 所有数据都写入item实例后就可以向引擎提交了，每个item包括了一个视频的相关数据，之后引擎会把item交给pipeline处理。yield item

编写pipelines.py文件

爬虫文件的作用是将爬取到的数据暂时保存在内存中，如果想要将数据保存至本地或者数据库中就需要通过编写pipelines.py文件来实现了。
这里我选择的是保存为excel文件，需要用到openyxl库，代码如下：

import openpyxl

classBiliPipeline:
    def __init__(self):print('开始写入')
        self.wb = openpyxl.Workbook()
        self.ws = self.wb.active    # 获取活动表
        self.ws.append(['视频标题','视频播放量','视频点赞量','视频投币量','视频收藏量','视频发布日期','视频时长'])    # 添加表头

    def process_item(self, item, spider):print(f'正在保存：{item["title"]}')
        line =[item['title'], item['play'], item['dianzan'], item['toubi'], item['shoucang'], item['date'], item['time']]
        self.ws.append(line)return item

    def close_spider(self, spider):
        self.wb.save('video.xlsx')
        self.wb.close()print('保存完毕')

编写setting.py文件

所有文件编写完成之后，我们还需要打开setting.py文件进行设置，确保所有功能能够正常进行。
以下是需要修改或取消注释的内容，没有写的默认即可。

// 不遵守robottxt协议，将True改为FalseROBOTSTXT_OBEY= False
// 在请求头中添加自己浏览器的UA信息DEFAULT_REQUEST_HEADERS={"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Accept-Language":"en",'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36 QIHU 360SE'}// 取消下载器中间件的注释DOWNLOADER_MIDDLEWARES={"bili.middlewares.BiliDownloaderMiddleware":543,}// 取消item_pipelines的注释ITEM_PIPELINES={"bili.pipelines.BiliPipeline":300,}// 设置一般日志不显示，只显示等级为警告以上的日志LOG_LEVEL="WARNING"

启动爬虫和查看数据

这样一来所有的代码都编写完成了，之后我们可以在爬虫项目的根目录下，通过pycharm新建一个start.py文件。

在该文件中，输入以下代码并执行：

from scrapy import cmdline
cmdline.execute('scrapy crawl bili'.split(' '))

也可以通过cmd窗口进入爬虫项目根目录下输入以下指令：

scrapy crawl bili

都可以启动我们的爬虫，启动完成之后等待爬虫程序自然关闭，就可以在根目录下看到我们爬取到的video.xlsx文件了。

这样一来，本次的爬虫实战就圆满完成了。