Python爬虫系列（二）——Python爬虫批量下载百度图片

1. 前言

先贴代码

# -*- coding:utf8 -*-import requests
import json
from urllib import parse
import os
import time

classBaiduImageSpider(object):def__init__(self):
        self.json_count =0# 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url ='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory =r"C:\Users\cun\Pictures\download\{}"# 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '}# 创建存储文件夹defcreate_directory(self, name):
        self.directory = self.directory.format(name)# 如果目录不存在则创建ifnot os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory +=r'\{}'# 获取图像链接defget_image_link(self, url):
        list_image_link =[]
        strhtml = requests.get(url, headers=self.header)# Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)for index inrange(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])return list_image_link

    # 下载图片defsave_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)if res.status_code ==404:print(f"图片{img_link}下载出错------->")withopen(filename,"wb")as f:
            f.write(res.content)print("存储路径："+ filename)# 入口函数defrun(self):
        searchName =input("查询内容：")
        searchName_parse = parse.quote(searchName)# 编码

        self.create_directory(searchName)

        pic_number =0# 图像数量for index inrange(self.json_count):
            pn =(index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse,str(pn))
            list_image_link = self.get_image_link(request_url)for link in list_image_link:
                pic_number +=1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)# 休眠0.2秒，防止封ipprint(searchName+"----图像下载完成--------->")if __name__ =='__main__':
    spider = BaiduImageSpider()
    spider.json_count =10# 定义下载10组图像，也就是三百张
    spider.run()

如果要使用上述程序的话，需要修改两个地方：

• self.directory 这是本地存储地址，修改为自己电脑的地址，另外，**{}**不要删
• spider.json_count = 10 这是下载的图像组数，一组有30张图像，10组就是三百张，根据需求下载

也可以去gitee仓库直接下载程序。

关于python爬虫入门，如何查看网页源码，可以参考我的另一篇文章 点击跳转

2. Python爬虫批量下载百度图片

流程：先分析页面，然后写爬虫程序。

打开“百度图片”，随便搜索一个词汇，例如玫瑰，可以查询到相关的图片

1. 分析页面

点击鼠标右键–>检查–元素，先找到第一层div

然后往下找，可以找到一堆li，也就是以列表排列的元素，经研究发现，每个li代表一个模块，每个模块包含图像和下面的字，实际上，下面的字也带有相应链接，点击可以跳转到新页面。

可以先数一下，包含前面的广告图片，总共也就二十多个li，也就是只包含了二十多张图像。

根据使用经验来看，鼠标滚轮下滚，会看到源源不断的图像，并不局限于二十多张图像，那么我们先下滚鼠标滚轮，看看会发生什么。（此时只有一个类名为“imgpage”的div）

鼠标滚轮下滚，类名为“imgpage”的div增加了很多，继续下滚，还会继续增加。

由此可以得出一个结论，“百度图片”初始只会渲染部分图像到页面上，随着滚轮下滚，就会请求新的数据。而请求数据，就可以在“网络“中获取请求信息，

打开”网络“，可以发现请求的数据非常非常多，而我们只想找刚刚请求的图像数据。

这里再了解一个新技术–XHR，关于XHR，推荐一篇文章XHR-点击跳转，简单来说，在XHR之前，网页要获取客户端和服务器的任何状态更新，都需要刷新一次，而XHR可以不用刷新就请求到新的数据。刚才的下滚鼠标滚轮并没有刷新界面信息。

打开”网络“中的【XHR】，这里的数据都是通过XHR请求到的，通过名称可以初步判断出，请求到的文件是json格式的。

随便点开一个文件，查看请求的url，可以发现，url很长

比对以下不同文件的请求url，可以发现两个【pn】和【gsm】不同（gsm可以不用管它，这是通信系统）

对比多个文件，可以看到特点：

• pn:30
• pn:60
• pn:90
• ……

下滚鼠标滚轮，会添加一个新的json文件，实际上，pn表示一组数据，一组数据包含30个图像内容，也就是第一次请求会得到30个图像，再次请求会得到另外30个图像。

现在已经分析出查询同种类型图像的url特点，那么不同类型的请求url呢？

这里又查询了一下”向日葵“，，pn也是按30、60、90进行排列的。对比”玫瑰“和”向日葵“的请求url，不同的属性增加了【logid】、【queryWord】、【word】，而【queryWord】和【word】的信息是相同的，通过名称可以看出，【queryWord】和【word】代表的是查询信息。

queryWord=%E5%90%91%E6%97%A5%E8%91%B5

这后面的信息是编码后的查询数据，至于为什么编码，是因为URL只支持一部分ASCII编码，而中文内容需要进行编码，才能用于url

使用在线URL编码工具尝试编码”向日葵“，发现与url使用中的相同

到这里，我们可以尝试一下这个url请求

import requests  # 导入requests包

url ='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)# Get方式获取网页数据print(strhtml.text)

请求到的数据如下图所示，可以看到返回结果是json格式的。

既然是json格式的，我们也不用BeautifulSoup进行解码了，直接根据json格式获取信息。

import requests  # 导入requests包import json

url ='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)# Get方式获取网页数据
jsonInfo = json.loads(strhtml.text)for index inrange(30):print(jsonInfo['data'][index]['thumbURL'])

点击相应的链接，可以查询出相应的图像。

1. 编写爬虫程序

经过上面分析，基本上有了编写程序的思路。

• 获取请求url
• 解析出图像对应的url
• 根据图像url下载图像

根据设计思路，编写爬虫程序

# -*- coding:utf8 -*-import requests
import json
from urllib import parse
import os
import time

classBaiduImageSpider(object):def__init__(self):
        self.json_count =0# 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url ='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory =r"C:\Users\cun\Pictures\download\{}"# 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '}# 创建存储文件夹defcreate_directory(self, name):
        self.directory = self.directory.format(name)# 如果目录不存在则创建ifnot os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory +=r'\{}'# 获取图像链接defget_image_link(self, url):
        list_image_link =[]
        strhtml = requests.get(url, headers=self.header)# Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)for index inrange(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])return list_image_link

    # 下载图片defsave_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)if res.status_code ==404:print(f"图片{img_link}下载出错------->")withopen(filename,"wb")as f:
            f.write(res.content)print("存储路径："+ filename)# 入口函数defrun(self):
        searchName =input("查询内容：")
        searchName_parse = parse.quote(searchName)# 编码

        self.create_directory(searchName)

        pic_number =0# 图像数量for index inrange(self.json_count):
            pn =(index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse,str(pn))
            list_image_link = self.get_image_link(request_url)for link in list_image_link:
                pic_number +=1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)# 休眠0.2秒，防止封ipprint(searchName+"----图像下载完成--------->")if __name__ =='__main__':
    spider = BaiduImageSpider()
    spider.json_count =10# 定义下载10组图像，也就是三百张
    spider.run()

如果要使用上述程序的话，需要修改两个地方：

• self.directory 这是本地存储地址，修改为自己电脑的地址，另外，**{}**不要删
• spider.json_count = 10 这是下载的图像组数，一组有30张图像，10组就是三百张，根据需求下载

测试下载3组玫瑰，程序运行情况：

下载的玫瑰图像数据：

10组向日葵图像：

值得注意的是，下载过程中使用了休眠，这里设置了下载一张图像休眠0.2秒，是为了防止查询过快导致ip地址被封，更进阶的做法是添加【代理ip池】

3. 后言

爬虫还是比较好入门的，这得益于成熟的爬虫工具。

爬虫可以满足自己的个性化搜索需求，快动手试试吧。

如果觉得文章还不错的话，留个赞再走吧，非常感谢！！！