前端爬虫+可视化Demo
爬虫就是一个探测程序，它的基本功能就是模拟人的行为去各个网站转悠，点点按钮，找找数据，或者把看到的信息背回来。使用的百度和Google，其实就是利用了这种爬虫技术: 每天放出无数爬虫到各个网站，把他们的信来，存到数据库中等用户来检索。以https://www.itheima.com/teacher.
Chrome插件 | WEB 网页数据采集和爬虫程序
有数据的地方就有江湖，爬取与反爬取，是一个长期博弈的过程。今天道高一尺，明日魔高一丈，唯有不断学习进步，方能跬步前行
如何保证API安全？
最近知识星球中有位小伙伴问了我一个问题：如何保证接口的安全性？根据我多年的工作经验，这篇文章从11个方面给大家介绍一下保证接口安全的一些小技巧，希望对你会有所帮助。
Jsoup使用教程以及使用案例
jsoup 是一款基于 Java 的HTML解析器，它提供了一套非常省力的API，不但能直接解析某个URL地址、HTML文本内容，而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据，所以 jsoup 也可以被当做爬虫工具使用，从网站获取dom结构，从而解析下载数据。tagname: 通
python基础及网络爬虫
Python爬虫学习第一课，了解何为爬虫，python基础语法了解
学习爬虫必备的基础前端三件套
HTML CSS JAVAScript
python爬虫实战——抖音
以登录状态（或者有cookies本地存储等状态）访问目标博主页面，滚动到作品最底部，然后在控制台中执行JavaScript脚本，获取全部作品的信息（在这里是作品链接以及作品类型），然后写出到文本文件中。上述的操作是在无登录状态下进行的，即使在webdriver中操作让页面滚动，也只能获取到有限的作品
基于大数据的音乐流行趋势预测及推荐分析 毕业论文+项目源码+爬虫源码+网页端源码+数据库sql文件+部署说明+演示视频
系统实现用户对音乐评分的搜集（Python爬虫爬取数据），后端使用大教据推荐算法构造，前端使用MVC框架搭建大数据音乐推荐系统。系统教据序使用了关系型教据库MySQL。前端收集过用户行为数据后传到后端使用基于用户的协同过滤算法来推荐出用户可能喜欢的音乐。采用BS架构，使用Java程序设计语言、MyS
爬虫练习---动态数据の小红书评论爬取
爬虫，动态数据，小红书
Python爬虫基础之 Selenium
Selenium是一个浏览器自动化测试框架，是一款用于Web应用程序测试的工具。框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时，浏览器自动按照脚本代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样，从终端用户的角度测试应用程序。使浏览器兼容性测试自动化成为可能
Python爬虫中selenium的一个小问题
今天跟随B站老师学习selenium的基本使用出现一个错误。显然，我用的是Edge浏览器，检查了驱动器版本没有问题。
Python 爬虫实战之爬拼多多商品并做数据分析
在上面的代码中，我们使用pandas库创建DataFrame存储商品数据，并计算平均价格和平均销量。在上面的代码中，我们使用requests库发送GET请求获取拼多多商品页面内容，然后使用BeautifulSoup库解析HTML页面，并从中提取商品信息。Python爬虫可以用来抓取拼多多商品数据，并
爬虫知识--02
免费代理池搭建、代理池使用、爬取某视频网站、爬取新闻、bs4介绍和遍历文档树、搜索文档树、css选择器
代理IP安全问题：在国外使用代理IP是否安全
在互联网时代，随着信息的高速传播和全球化的发展，跨国互联网服务已经成为一种常见的现象。然而，由于各国家法律法规的限制和信息审查的需要，某些国家的互联网用户无法直接访问特定的网站或获取特定的信息。为了解决这个问题，使用代理服务器成为一种常见的方法。代理服务器可以帮助用户隐藏真实的IP地址，并通过从其他
爬虫：绕过5秒盾Cloudflare和DDoS-GUARD
爬虫，绕过免费和付费版5秒盾Cloudflare的方法。
Python爬虫——Selenium
折磨到顶点的折磨，selenium，phantomjs，Chrome handless
selenium+beautifulsoup数据爬取
值得注意的是直接获取第一个下拉框的数据（也就是https://yz.chsi.com.cn/zsml/pages/getMl.jsp），是没有专业硕士这一项的，所以我们这里手动加入并把它插入到result的第一项（因为在下拉项的第一项也是专业硕士）。* 打开页面的检查页面，可以看到很多个jsp的请求
自动化测试介绍、selenium用法（自动化测试框架+爬虫可用)
程序测试程序、代码代替思维、脚本代替人工核心：质量和效率作用：降低成本、节省人力时间、推动CI和DevOps、准确性和可靠性、模拟人工难以实现的手段、快速持续迭代发布能力、衡量产品的质量、提升测试效率、提高测试覆盖率。
爬虫实战——巴黎圣母院新闻【内附超详细教程，你上你也行】
由于一个版面对应一篇文章，所以版面url 、更新时间、标题和文章是一样的，并且按照设计版面id和文章id的区别只是差了个01，所以可以传递版面url、版面id、更新时间和标题四个参数到解析文章的函数里面。我们发现有两种方式查看所有新闻，一种是按照类别，一种是按照时间，经过进一步的观察我们发现按照时间
爬虫(四)
本章主要介绍图片验证码，以及打码平台
