利用八爪鱼爬取关键词搜索的微博数据

写在开头

今天是我在CSDN上的两周年创作纪念日，两年里我写了不少有意思的文章，虽然没收获什么粉丝，但看到自己的博客阅读量越来越大，能帮助到更多人解决实际问题还是很开心的。今天就分享一下我最近做的一个项目。

一般来说，爬虫可能用的更多的是python，但是chatgpt给出的代码需要申请微博开放平台api，还得审核好久。我在GitHub上搜索了很多代码，大多数也都不能用或者有缺陷。用八爪鱼可能更加方便，而且通过模拟点击的方式更容易爬取。

1. 用微信登陆注意不要用官方给的微博模板。 那个模板完全不值得用。
2. 进入微博官网，登陆账号

建议用https://weibo.com/

别用移动版，因为官网版搜索到的微博数据更全。

1. 点击搜索栏，输入关键词，并搜索 按照给的提示，点击相应的元素就行，这里很简单，和正常的模拟点击类似，搜索的时候可以选择点击“xx”相关微博，就能实现。
2. 点击查看全部搜索结果 微博默认按综合评分来排序，可能数量比较少，需要展开搜索所有的微博（按时间排序）。我们需要找到网页最下面的按钮来点击元素。
3. 自动展开全文 微博有些内容比较长会被折叠，爬取的时候需要点击展开这一元素，但是展开元素所对应的位置是不一样的，有的一个div组件里有一个链接，有的有0，2，3个话题或超话会干扰，所以我们需要用到xpath来正则匹配。 首先随机点击一个展开链接→选择全部→循环点击每个链接。这时有些展开是没有被匹配到的，然后需要修改循环列表中的循环方式为下图 其中xpath路径设置如下（核心步骤）：//div[@id="pl_feedlist_index"]/div[1]/div[*]/div[1]/div[1]/div[2]/p[1]/a[contains(text(),'展开')] 这里*表示匹配任意一个微博，contains(text(),‘展开’)表示文本中包含展开字符串的链接。点击应用，通过观察下面的循环列表，看是否匹配正确。 发现6个展开全部匹配到了，也没有匹配到其他的超话或者链接。这个循环列表的点击元素设置不需要修改。
4. 点击自动识别网页 展开所有数据之后，点击自动识别网页，然后确定就自动完成了提取列表数据和翻页的设置。
5. 拖动修改嵌套顺序 需要先展开再提取数据，并且是在循环翻页里面的，整体流程图如下：
6. 点击本地采集，导出数据 采集的时候可能会出错（采集0条），建议开始采集之后就点击查看网页来监督爬取过程，确保能得到想要的数据。注意，如果微博页面有50页，那么在第50页点击下一页会回到第一页，这就陷入了死循环，也会采集到很多重复数据，可以设置循环翻页的次数上限来控制。 最后得到的数据如下： 表中txt是展开后的微博正文，txt5是展开前的微博正文。 这样我们就完成了对关键词搜索的微博数据的爬取，如果还想爬取更多的数据，可以在高级搜索中按照时间搜索。