0
0

基于Python的马蜂窝PC端爬取评论文本（Scrapy+Selenium）（一）

  1.    研究爬虫的时候用马蜂窝网页端的数据进行实验。操作包括翻页、点击等操作。爬取到的数据放到json文件中，如果想要存入数据库或者excel文件的的，把存取部分的代码改一下即可，爬取部分的代码一样。可能有些地方不足，敬请斧正。
  3.   项目开始之前确保已经安装了scrapy库及selenium库

1.创建爬虫项目。

  • cmd命令行输入： scrapy startproject 项目名。我的项目名称是scrap_mfw,所以我的命令就是scrapy startproject scrap_mfw，项目名自己定。如下图，成功创建项目。

** 2.文件介绍**

目录结构如下：

  1.    爬虫的代码在mfw_test.py里面写。run.py文件是自己建的，以后右击运行run.py就可以开始爬虫了，不用在cmd窗口敲命令行。run.py文件里面写以下代码：
  1. cmdline.execute("scrapy crawl mfw_test".split())

mfw_test是爬虫名字。

settings.py是对爬虫的配置。用户代理请求头(USER_AGENT)伪装一下。

  1. USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68'
  2. DOWNLOAD_DELAY = 3  # 下载延时
  3. ROBOTSTXT_OBEY = False  # 可以忽略或者不遵守robots协议
  4. FEED_EXPORT_ENCODING = "gbk"   #解决保存CSV文件乱码
  5. # 激活自定义的下载器中间件组件
  6. DOWNLOADER_MIDDLEWARES = {
  7.    'scrap_mfw.middlewares.ScrapMfwDownloaderMiddleware': 543,
  8. }
  9. DEFAULT_REQUEST_HEADERS = {
  10.   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  11.   'Accept-Language': 'en',
  12. }
  13. CONCURRENT_REQUEST = 32  # 默认16个并行
  14. LOG_LEVEL='ERROR' #只有程序出现错误的情况下，才显示日志文件
  1. pipelines.py文件所写代码如下
  1. class ScrapMfwPipeline:
  2.     def __init__(self):
  3.         self.f = open("bytedance.json", "w", encoding='utf-8')
  5.     def process_item(self, item, spider):
  6.         content = json.dumps(dict(item), ensure_ascii=False) + '\n'
  7.         self.f.write(content)
  8.         return item
  10.     def close_spider(self, spider):
  11.         self.f.close()

在mfw_test.py里面的Spider类里面写：

  1.     def start_requests(self):
  2.         # 想通过控制offset来决定是否翻页
  3.         offset = 1
  4.         url = "".join(self.start_urls)
  5.         yield Request(url=url, callback=self.parse, meta={'offset': offset}, dont_filter=True)  # 在这去中间件
  6.         # 返回request的时候需要把dont_filter=True加上，不然scrapy会自动过滤掉已经请求过的网页。
  8.     def parse(self, response):
  9.         # 在这里先跳到第一个景点
  10.         self.page = 1   # 控制评论翻页
  11.         self.num = 0    # 控制跳转下一个景点
  12.         # 拿到每个景点url
  13.         web_urls = response.xpath('//*[@id="container"]/div[5]/div/div[@class="bd"]/ul/li/a/@href').extract()  # print(web_urls) 是一个列表
  14.         self.urls = []  # 景点链接
  15.         # 每个景点加入
  16.         for web_url in web_urls:
  17.             web_url = "https://www.mafengwo.cn" + str(web_url).strip("'")  # 拿到连接
  18.             self.urls.append(web_url)
  19.         print(self.urls)
  20.         yield scrapy.Request(self.urls[0], callback=self.parse_reviews,
  21.                              meta={'offset': 1, 'url': web_url, 'page': self.page, 'list': self.urls, 'num': self.num},
  22.                              dont_filter=True)
  24.     def parse_reviews(self, response):
  25.         self.page += 1  # 控制翻页
  26.         p = response.xpath('//*[@class="m-pagination"]/span[@class="count"]/span[1]/text()').extract()
  27.         p = str(p).strip('[').strip(']').strip("'")
  28.         p = int(p) + 1  # 评论页数
  29.         # 抓取评论
  30.         url = response.meta.get('url')
  31.         item = ScrapMfwItem()
  32.         # 景点名称
  33.         item['Title'] = response.xpath('//*[@class="row row-top"]/div/div[3]/h1/text()').extract()
  34.         # 景点评论
  35.         # 在这里先测试前五页 ，要修改的地方
  36.         string = ""
  37.         reviews = response.xpath('//*[@class="container"]/div[@id="commentlist"]/div/div/div[4]/div/ul/li')
  38.         for review in reviews:
  39.             string = string + str(review.xpath('.//p/text()').extract()).strip("\xa0").strip(" ").strip('\n')
  40.             item['Reviews'] = string  # 拿到了拿到了
  41.         # 回调自己
  42.         if self.page < p:   # 控制只5页，这样就不会抛出异常了
  43.             yield scrapy.Request(url, callback=self.parse_reviews,
  44.                                  meta={'offset': 2, 'url': url, 'page': self.page}, dont_filter=True)
  45.         if self.page == p and self.num < 14:  # 如果已经翻够5页，跳到下一个景点
  46.             self.page = 1           # 重置页数
  47.             self.num = self.num + 1
  48.             next_step = self.urls[self.num].strip("'")
  49.             yield scrapy.Request(next_step, callback=self.parse_reviews,
  50.                                  meta={'offset': 1, 'url': next_step, 'page': self.page}, dont_filter=True)
  51.         yield item

middlewares.py文件在DownloaderMiddleware类下面添加：

  1.  def __init__(self):
  2.         # 实例化对象
  3.         option = ChromeOptions()
  4.         # 不加载图片
  5.         # 因为只需要爬取文本文件，所以不加载图片，这样不用等图片的响应效率更快。
  6.         prefs = {'profile.managed_default_content_settings.images': 2}
  7.         option.add_experimental_option('prefs', prefs)
  8.         option.add_experimental_option('excludeSwitches', ['enable-automation'])  # 开启实验性功能
  9.         # 去除特征值
  10.         option.add_argument("--disable-blink-features=AutomationControlled")
  11.         # 以上是新添加的！加上去之后状态代码就不是521了！就不反爬虫了！
  12.         self.driver = webdriver.Chrome(options=option)
  13.         self.driver.maximize_window()
  14.         self.wait = WebDriverWait(self.driver, 10)
  16.     def process_request(self, request, spider):
  17.         # 想如果offset是1的话，就正常返回，如果是2的话，就执行点击下一页操作
  18.         offset = request.meta.get('offset', 1)  # 会随着mfw_test.py变化
  19.         if offset == 1:
  20.             self.driver.get(request.url)    # 在这里模拟浏览器的网址栏有响应
  21.             time.sleep(2)   # 给他一点加载时间不然521
  22.             return scrapy.http.HtmlResponse(url=request.url, body=self.driver.page_source.encode('utf-8'),
  23.                                             encoding='utf-8', request=request,
  24.                                             status=200)  # Called for each request that goes through the downloader
  25.                                             # return给调用的函数
  26.         if offset == 2:
  27.             url = request.meta.get('url')
  28.             time.sleep(3)
  29.             self.driver.find_element(By.XPATH, './/*[@class="pi pg-next"]').click()
  30.             return scrapy.http.HtmlResponse(url, body=self.driver.page_source.encode('utf-8'),
  31.                                             encoding='utf-8', request=request,
  32.                                             status=200)  # Called for each request that goes through the downloader
  34.     def process_response(self, request, response, spider):
  35.         return response

但是我的爬虫只能爬出来4页的东西，虽然每一页都点到了。

标签： python scrapy selenium
本文转载自: https://blog.csdn.net/JoeySnow/article/details/130682605
版权归原作者 Madam G 所有， 如有侵权，请联系我们删除。
登录后发布评论

“基于Python的马蜂窝PC端爬取评论文本（Scrapy+Selenium）（一）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。