0
0

【爬虫新手村】零基础入门到实战：解锁互联网数据收集的密钥，爬虫技术全攻略

在这里插入图片描述

文章目录

前言

    在当今信息爆炸的时代，爬虫技术成为高效获取互联网数据的关键工具。本文为初学者精心打造了一份入门级爬虫指南，从基础概念、常用库介绍到实战案例分享，全方位覆盖爬虫技术的核心要点。通过学习本文，你将掌握爬虫的基本步骤、requests、BeautifulSoup、selenium等工具的使用及实战技巧，并了解在爬虫过程中应遵守的法律法规和道德准则。无论你是编程爱好者还是数据分析师，本文都能助你快速入门爬虫技术，开启数据收集与分析的新篇章。
在这里插入图片描述

一、爬虫

    Python 爬虫（Web Scraping 或 Web Crawling）是一种自动化程序，用于从互联网上抓取或提取数据。Python 由于其简洁的语法、丰富的库支持以及强大的社区，成为了实现爬虫功能的热门选择。下面将简要介绍Python爬虫的基本概念、常用库以及一些基本步骤。

1.基本概念

  • 爬取（Scraping）： 从网页中提取信息的过程。
  • 爬虫（Crawler）： 自动浏览互联网（特别是万维网）的机器人程序，它可以按照设定的规则自动抓取网页上的信息。
  • 反爬虫（Anti-Scraping）： 网站为防止爬虫抓取数据而采取的技术措施，如设置验证码、限制请求频率等。
  • 解析（Parsing）： 从HTML或XML等格式的网页中提取结构化数据的过程。

2.常用库

**

requests

：** 用于发送HTTP请求，是爬虫中常用的库之一。
**

BeautifulSoup

：** 用于从HTML或XML文件中提取数据，通过解析文档为用户提供需要抓取的数据。
**

Scrapy

：** 一个快速高级的Web抓取和网页抓取框架，用于爬取网站并从页面中提取结构化的数据。Scrapy使用Twisted异步网络框架来处理网络通讯。
**

Selenium

：** 一个用于Web应用程序测试的工具，支持多种浏览器和平台。它可以直接模拟用户操作浏览器，非常适合需要JavaScript渲染的网页。
**

lxml

：** 一个高效的HTML和XML解析库，支持XPath和XSLT。

3.基本步骤

  1. 确定目标： 明确你要抓取的数据和来源网站。
  2. 分析网页： 查看网页的源代码，了解数据是如何嵌入在HTML中的。
  3. 编写爬虫：- 使用requests发送HTTP请求获取网页内容。- 使用BeautifulSoup、lxml或Scrapy解析网页，提取所需数据。- 如果有JavaScript渲染，可能需要使用Selenium。
  4. 存储数据： 将提取的数据保存到文件（如CSV、JSON）、数据库或进行进一步处理。
  5. 处理异常： 添加错误处理机制，如重试机制、超时设置等，以提高爬虫的健壮性。
  6. 遵守法律与道德： 确保你的爬虫行为符合目标网站的robots.txt文件规定，尊重版权和隐私。

4.注意事项

  • 尊重版权： 在爬取网站数据时，要尊重网站的版权和隐私政策，避免侵犯他人的合法权益。
  • 避免过度请求： 合理设置请求频率，避免给目标网站服务器带来不必要的负担。
  • 反爬虫策略： 针对网站的反爬虫措施，可能需要采取如设置请求头、使用代理IP、模拟用户行为等策略。

二、爬虫示例代码

1.案例一：requests 的基本使用

requests-get请求：

import requests

# 发送GET请求
url ='https://www.baidu.com'
response = requests.get(url)
response.encoding = response.apparent_encoding # 使用其自动检测到的最合适的编码方式来解码响应内容# 处理响应print(response.status_code)# 获取响应状态码print(response.text)# 以字符串形式获取响应体# print(response.json())  # 如果响应体是JSON格式，可以直接解析为Python字典或列表

requests-post请求

import requests

# 发送POST请求
data ={'key':'value'}
response = requests.post('https://httpbin.org/post', data=data)# ... 处理响应 ...print(response.status_code)# 获取响应状态码print(response.text)# 以字符串形式获取响应体print(response.json())# 如果响应体是JSON格式，可以直接解析为Python字典或列表

2.案例二：爬取古诗文（requests+BeautifulSoup）

import requests
from bs4 import BeautifulSoup

url ="https://www.gushiwen.cn/shiwens/"

resp = requests.get(url)if resp.status_code !=200:print("请求失败")

resp.encoding = resp.apparent_encoding
soup = BeautifulSoup(resp.text,"html.parser")

div_list = soup.select("#leftZhankai > div.sons")for div in div_list:
    title = div.select("div.cont > div:nth-child(2) > p > a > b")[0].string
    name = div.select("div.cont > div:nth-child(2) > p.source > a > img")[0].get("alt")
    pic = div.select("div.cont > div:nth-child(2) > p.source > a > img")[0].get("src")# 使用str.format进行对齐，保留20个空格的宽度print("{:<20}  {}  {}".format(title, name, pic))

在这里插入图片描述

3.案例三：爬取美食（requests+BeautifulSoup）

import requests
from bs4 import BeautifulSoup

url ="https://www.meishij.net/caixi/lucai/"
resp = requests.get(url)
resp.encoding = resp.apparent_encoding

soup = BeautifulSoup(resp.text,"html.parser")
div_list = soup.select("body > div.main_w.clearfix > article > div.list_s2 > div.list_s2_content > div")for div in div_list:
    dish_name = div.select("a > strong")[1].string
    ingredients = div.select("a > span")[0].string
    print("菜名:",dish_name,end="-------------")print("原材料：",ingredients)

在这里插入图片描述

4.案例四：爬取美食Video（requests+BeautifulSoup）

import requests
from bs4 import BeautifulSoup
import json
import os

base_path ="D:\Gtop\AHA\myvideos"

url ="https://www.meishij.net/video/"
resp = requests.get(url)# print(resp.status_code)# print(resp.text)# print(resp.content)

soup = BeautifulSoup(resp.text,"html.parser")
video_list = soup.select("#v_list > div.v_item")print(len(video_list))for video in video_list:
    video_href = video.select_one("a").get("href")# print(video_href)
    resp_video = requests.get(video_href)
    soup_video = BeautifulSoup(resp_video.text,"html.parser")
    video_url = soup_video.select_one("#msj_video").get("src")print(video_url)

    ret_video = requests.get(video_url)
    video_path = os.path.join(base_path, video_href.split("/")[-1].split(".")[0]+".mp4")withopen(video_path,"wb")as f:
        f.write(ret_video.content)print(video_path,"下载成功...")

在这里插入图片描述

5.案例五：爬取图片并以二进制形式写入（requests）

import requests
import json
import os

base_path ="D:\Gtop\AHA\imgs"
url ="https://pic-bucket.ws.126.net/photo/0008/2022-06-13/H9OM3FK2S5L70008NOS.jpg?imageView&thumbnail=300y225"
resp = requests.get(url)print(resp.content)#二进制内容

pic_name = url.split("/")[-1].split("?")[0]
file_path = os.path.join(base_path,pic_name)withopen(file_path,"wb")as f:
    f.write(resp.content)

在这里插入图片描述

6.案例六：反爬-伪装请求头-IP代理（requests+fake_useragent）

import requests
url ='https://baidu.com'
headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'}
ip_pool ={'http':'218.87.205.225:19170',}
resp = requests.get(url, headers=headers, proxies=ip_pool)print(resp.status_code)

也可使用fake_useragent，伪造ua：

import fake_useragent

ua = fake_useragent.UserAgent()print(ua.random)# 输出：Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Mobile Safari/537.36

7.案例七：爬取网易汽车图片以二进制写入（requests）

import requests
import json
import os

base_path ="D:\Gtop\AHA\imgs"# 可以直接从下面接口中拿到数据的
url ="https://product.auto.163.com/rank/api/duration"
hd ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}

resp = requests.get(url)print("resp.request.headers---",resp.request.headers)

data = json.loads(resp.text)# print(resp.content)for item in data['result']:
    chexi_name = item['chexi_name']
    chexi_photo_white = item['chexi_photo_white']print(chexi_name, chexi_photo_white)

    pic_name = item['chexi_photo_white'].split('/')[-1].split('?')[0]
    file_path = os.path.join(base_path, pic_name)# 请求图片
    r_img = requests.get(item['chexi_photo_white'])withopen(file_path,'wb')as f:
        f.write(r_img.content)print(f"车系：{chexi_name},{pic_name}下载成功！")

在这里插入图片描述
在这里插入图片描述

8.案例八：selenium的基本使用

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get("https://www.baidu.com")print(browser.title)#获取网页的标题

src = browser.find_element(By.ID,"s_lg_img").get_attribute("src")print(src)#获取百度logo的src地址# 定位到搜索框，向搜索框输入内容
browser.find_element(By.ID,"kw").send_keys("abcdefg")#点击百度一下按钮
browser.find_element(By.ID,"su").click()

time.sleep(60*60*24)# 输出：# 百度一下，你就知道# https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png

在这里插入图片描述

9.案例九：通过爬虫查看QwenToken余额（selenium+BeautifulSoup）

# import requestsfrom bs4 import BeautifulSoup
import time
# import json# url = "https://dashscope.console.aliyun.com/data/api.json?action=ListUseModels&product=dashscope-console&_tag="# headers = {#     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36",#     "Cookie": "t=631b97006f3fe62c25c730e5b215f900; login_current_pk=1333082122782615; yunpk=1333082122782615; currentRegionId=cn-hangzhou; tongyi_guest_ticket=40RZObgNrRX*cqHExMqtvRix7leSaU_*gVJ5TgK6swhe03u6yQ5Qc2oDc8uU_yWEm8nW$JCLpIOj0; tongyi_sso_ticket=5E_fb*zzp_8Gn1gsBy1ogROHqapzX0Ccdoyjng$ZacqABBuwXb4xTQVBMHzcrKUAZpZ9VMPUbwuz0; channel=cywf456fmfAutgp66hVf7f2VzCdE4JYIsBnjm%2B6O3fi2fXF5h6q56LYuPc9dxADvL%2BekMN0ZagoRDtPaUg1mAw%3D%3D; cna=lC76F8dphWMCAW+je/ernQ42; _uab_collina=172172179858810191629785; _umdata=G303F989AF3E4FC951911EDA814C72C867C2DB2; cnaui=1719748536469290001; aui=1719748536469290001; sca=924a6421; _samesite_flag_=true; login_aliyunid_ticket=fyKpeu*0vCmV8s*MT5tJl3_1$$wbRxrU8lkjdMu1soaUcn05MXRAAyuSRjQSjsQj9CAj_f_8NpoU_BOTwChTBoNM1ZJeedfK9zxYnbN5hossqIZCr6t7SGxRigm2Cb4fGaCdBZWIzmgdHq6sXXZQg4WF0; login_aliyunid_pk=1333082122782615; hssid=CN-SPLIT-ARCEByIOc2Vzc2lvbl90aWNrZXQyAQE4qsqXjpEyQAFKELnmoY_PdWAVsCf39ATNCapRKRONFVcduL936ppM3YRMxb7cjw; hsite=6; aliyun_country=CN; partitioned_cookie_flag=doubleRemove; aliyun_lang=zh; login_aliyunid_csrf=_csrf_tk_1928322580068200; login_aliyunid=HAHAHa****; aliyun_cert_type_common=1; help_csrf=EO6Xp%2F9TG7eee8xY3kYM1KtFTbpOYlCAxfIqHq1yA7KUkOzHPlOeH32N%2Ba4%2F2xPrKWLPv0sthsf0BlhE35zN%2Fj7JHWzs1r6eV46tmaGMIDYOucM30Pf17406KXlSXg8E2xp2W%2BYrm%2F9bQRXVOFCpNA%3D%3D; cr_token=a748bab5-0a3e-450f-9bc3-dd3b37796fcd; atpsida=18185f8c00bb78974abbecdb_1722580219_6; tfstk=fKHmT9XqhjPb2KS9oY2X650CozR-hZw_ZVBTWRUwazzSBnaxBPzizclY_Ig9IdoKy5kYHm3lcY0hBtLXGcWgBR8pJppKcnw_QenwvWGcllqdQdFNgTJ4lAJMJppK0IrbB08pf2-Z3PraQoPa78-uckf4QSPN43qaXZ5N3VoyqlazbZWVg7ozfkXV_jb2grMZUY843auWwzuSEoVywmzylXkzmS4E0xb5Pgq0iyo4reeYjtFrf5D1fOVi0Xg_Yq72SPMo4xlE8UCYuXqivfm23TyxhmlU_v81_mwYo8kqtGWZq-4xSA05oU4Eh0kQU7pex0kSkmMoXGJa22UrcxyMLHw03ryuVAL53Pcr_xFbCZ8g5Ymr3fjrr_5FFDW_4hHP11N4Vu4B9nFgzS6d_Pxkq6-_guZbJ3xl11N4Vu4pq3feGSr7cyC..; isg=BKys-lqy5tN_gfTgdJsx-nKffYreZVAPeSXaGAbtuNf6EUwbLnUgn6KnMdmpmYhn"# }# response = requests.post(url, headers=headers)# print(response.status_code)# print(response.json())from selenium import webdriver
url ="https://dashscope.console.aliyun.com/overview"# url = "https://blog.csdn.net/m0_48173416?type=blog"
driver = webdriver.Chrome()
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{"source":"Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"})
driver.get(url)# print(driver.page_source)
time.sleep(20)# 等待页面JS渲染完成print("soup")
soup = BeautifulSoup(driver.page_source,"html.parser")# print(soup)# HAHAHa1122# q1w2e3r4t5

data = soup.select("#app > div.sc-bdVaJa.hMdjPy.wind-rc-app-layout.windcc-app-layout > div.sc-bZQynM.jexhMp.windcc-app-layout__content > div > div > div.sc-1juic4-0.sc-1bsfzqf-0.dPhReS > div > div > div.components-Layout-___index-scoped__over-left-zero___CCNQj > div:nth-child(2) > div > div > div.next-card-body > div > div > div:nth-child(1) > div > table > tbody > tr.next-table-row.first > td:nth-child(4) > div > div")# data = soup.select("#uid > span") #nameprint(len(data))print(data[0].text)#------------------------------------------------------------#输出：#>>>soup#>>>1#>>>953461/1000000

10.案例十：selenium 设置无头浏览器

#导入selenium库from selenium import webdriver
# 在这里导入浏览器设置相关的类from selenium.webdriver.chrome.options import Options
# from selenium.webdriver.edge.options import Options# ---------------无可视化界面设置（无头模式设置开始）-------------------------------- #
chrome_options = Options()# 使用无头模式
chrome_options.add_argument('--headless')# 禁用GPU，防止无头模式出现莫名的BUG
chrome_options.add_argument('--disable-gpu')# 将参数传给浏览器
browser = webdriver.Edge(options=chrome_options)# ---------------无可视化界面设置（无头模式设置结束），下面可以正常写代码了------------- ## 启动浏览器
url ="https://baidu.com"
browser.get(url)print(browser.title)# 关闭浏览器
browser.quit()

在这里插入图片描述

标签： 爬虫 python 数据处理
本文转载自: https://blog.csdn.net/m0_48173416/article/details/141142528
版权归原作者 么凹猫' 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【爬虫新手村】零基础入门到实战：解锁互联网数据收集的密钥，爬虫技术全攻略”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航