0


关于7个款来抓数据的开源爬虫软件工具

一、爬虫是什么?

爬虫:是一种按照一定的规则,自动地抓取万维网,信息的程序或者脚本。使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

1.QuickRecon

QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、Perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写,支持linux和 windows操作系统

授权协议: GPLv3

开发语言: Python

操作系统: Windows Linux

擅长:查找子域名名称、收集电子邮件地址并寻找人际关系等功能

2.Scrapy

Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~

授权协议: BSD

开发语言: Python

操作系统: 跨平台

github源代码

擅长:Twisted的异步处理框架,文档齐全

3.Methabot

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

授权协议: 未知

开发语言: C/C++

操作系统: Windows Linux

擅长:过速度优化、可抓取WEB、FTP及本地文件系统

源代码链接

4.Sinawler

国内第一个针对微博数据的爬虫程序!原名“微博爬虫”。

登录后,可以用户为起点,以该用户的关注人、粉丝为线索,关系搜集用户基本信息、微博数据、评论数据。

擅长:界面上提供参数设置,灵活方便

对爬虫控制,可随时暂停、继续、停止爬虫

授权协议: GPLv3

开发语言: C# .NET

操作系统: Windows

5.网络矿工

网站数据采集软件 网络矿工采集器(原soukey采摘)

Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一款开源软件。尽管Soukey采摘开源,但并不会影响软件功能的提供

擅长:功能丰富

授权协议: BSD

开发语言: C# .NET

操作系统: Windows

6.ThinkUp

ThinkUp 是一个可以采集推特,facebook等社交网络数据的社会媒体视角引擎。通过采集个人的社交网络账号的数据,对其存档以及处理的交互分析工具,并将数据图形化以便更直观的查看。

授权协议: GPL

开发语言: PHP

操作系统: 跨平台

github源码

擅长:采集推特、脸谱等社交网络数据的社会媒体视角引擎,可进行交互分析并将结果以可视化形式展现

7.微购

微购社会化购物系统是一款基于ThinkPHP框架开发的开源的购物分享系统,同时它也是一套针对站长、开源的的淘宝客网站程序,它整合了淘宝、天猫、淘宝客等300多家商品数据采集接口,为广大的淘宝客站长提供傻瓜式淘客建站服务,会HTML就会做程序模板,免费开放下载,是广大淘客站长的首选。

演示网址

授权协议: GPL

开发语言: PHP

操作系统: 跨平台

标签: 爬虫 python

本文转载自: https://blog.csdn.net/m0_63060172/article/details/128064228
版权归原作者 一片片海 所有, 如有侵权,请联系我们删除。

“关于7个款来抓数据的开源爬虫软件工具”的评论:

还没有评论