小红书爬虫使用教程

小红书爬虫使用教程

项目地址:https://gitcode.com/gh_mirrors/xia/XiaohongshuSpider

1. 项目目录结构及介绍

本项目

XiaohongshuSpider

是由

Big-Buffer

维护，旨在爬取小红书平台上的数据。下面是该开源项目的基本目录结构及其简介：

.
├── app_{app_name}.py          # 分别为不同功能的Python脚本，如使用Appium自动化操作、MitmProxy设置等
├── gitignore                  # 忽略文件配置
├── LICENSE                    # 许可证文件，遵循Apache-2.0协议
├── README.md                  # 项目说明文档，包含项目简介、设想方案、遇到的问题及解决方案等
└── [其他可能的依赖或工具文件夹]

• gitignore：指定不需要纳入版本控制的文件类型。
• LICENSE：授权协议说明，此项目使用Apache-2.0许可。
• README.md：关键文档，详细描述项目目的、实施步骤和一些技术难点及解决方案。

2. 项目启动文件介绍

主要的启动文件可能包含在

app_{app_name}.py

文件中，例如

app_appium.py

,

app_mitmproxy.py

。具体启动流程通常涉及以下几个方面：

• 使用Appium进行自动化测试 (app_appium.py)：用于模拟登录小红书应用，并获取所需的数据或截图等。
• MitmProxy设置 (app_mitmproxy.py)：配置代理，用于截获和分析网络请求，提取图片URL或其他重要数据。

启动示例通常是执行特定的Python脚本，例如：

python app_appium.py

或使用MitmProxy相关的脚本来监控数据流。

3. 项目的配置文件介绍

该项目的配置较为分散，可能直接嵌入在各个

.py

文件之中，而非一个集中的配置文件。配置项包括但不限于：

• Appium配置：模拟器的选择（如夜神模拟器）、设备名、系统版本等，在脚本内部初始化WebDriver时设定。
• MitmProxy设置：如果使用，可能涉及证书安装路径、代理端口等，通常通过环境变量或脚本内硬编码方式配置。
• 小红书请求相关参数：部分动态参数（如URL前缀、请求头等），这些可能在爬虫逻辑里手动设定。

虽然没有明确的独立配置文件，但开发者需在源码中寻找并修改相应变量以适应不同的使用场景，比如修改登录凭证、目标URL等。

注意事项

• 环境搭建：确保安装有必要的环境和库，如Appium, requests, mitmproxy等。
• 证书安装：对于模拟器或实际设备，可能需要正确处理SSL证书，尤其是使用Fiddler或Charles时，需按照提供的博客园链接指南安装证书至信任存储区。
• 模拟器配置：建议按文档使用模拟器，注意模拟器与真实设备行为的差异可能导致的调试问题。

通过上述步骤，你可以开始探索并运行这个小红书爬虫项目，记得遵守法律法规和平台的使用条款，合法合规地进行数据爬取。

XiaohongshuSpider 小红书爬取 项目地址: https://gitcode.com/gh_mirrors/xia/XiaohongshuSpider