0
0

（三）爬取一些网页图片

爬取一些网页图片

1、随机爬取一个网页：

  1. import requests
  3. # 1、获取图片网页源码
  4. def Get_Source_Page():
  5.     url ='https://pic.netbian.com/index.html'
  6.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  7.     headers ={
  8.         # 'Host':'image.baidu.com'
  9.         # 'Cookie':
  10.         # 'Referer':"User-Agent":"hdy"}
  11.     # 后去网页get请求
  12.     response = requests.get(url=url, headers=headers)
  13.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  14.     text = response.text
  15.     print(text)return text
  17. if __name__=='__main__':Get_Source_Page()

2、运行，出现部分乱码：

在这里插入图片描述

3、将返回的网页进行编码解码，具体什么编码看开头的“meta charset="gbk“，这里是gbk编码。

  1.     response.encoding ='gbk'

4、完整代码：

  1. import requests
  3. # 1、获取图片网页源码
  4. def Get_Source_Page():
  5.     url ='https://pic.netbian.com/index.html'
  6.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  7.     headers ={
  8.         # 'Host':'image.baidu.com'
  9.         # 'Cookie':
  10.         # 'Referer':"User-Agent":"hdy"}
  11.     # 后去网页get请求
  12.     response = requests.get(url=url, headers=headers)
  13.     # gbk编码解码
  14.     response.encoding ='gbk'
  15.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  16.     text = response.text
  17.     print(text)return text
  19. if __name__=='__main__':Get_Source_Page()

5、运行结果，网页获取成功，乱码解决：

在这里插入图片描述

6、对于需要截取一些特定多行的网页源码，需要进行如下操作：

  1. import re
  3. a ='''aabbccdd123456:121313413
  4.     xxyyzz'''
  6. b = re.findall("aa(.*?)zz", a)
  7. c = re.findall("aa(.*?)zz", a, re.S)  # re.S的功能
  9. print("b is :", b)print("c is :", c)
  11. # re.S的作用是将多行的字符串a连接成一行，多行中的aa和zz不在同一行，则"aa(.*?)zz"的条件没有
  12. # 需要将多行中aa和zz通过re.S链接在一起

7、运行效果：

在这里插入图片描述

8、查看网页源码信息，定位到图片的URL链接和标题，以备用在程序中获取的网页源码中提取URL链接和图片标题：

在这里插入图片描述

9、在第5步中程序运行获取的网页信息，根据在浏览器上网页源码的图片信息定位到程序请求得到的网页信息。

在这里插入图片描述
在这里插入图片描述

10、设计程序获取图片信息（URL、标题）：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     url ='https://pic.netbian.com/index.html'
  7.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  8.     headers ={
  9.         # 'Host':'image.baidu.com'
  10.         # 'Cookie':
  11.         # 'Referer':"User-Agent":"hdy"}
  12.     # 后去网页get请求
  13.     response = requests.get(url=url, headers=headers)
  14.     # utf-8编码解码
  15.     response.encoding ='gbk'
  16.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  17.     text = response.text
  18.     print(text)return text
  20. # 2、从源码中解析出图片地址
  21. def Get_img_link(text):
  22.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  23.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  24.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  25.     # 对text网页信息截取符合find要求的的内容信息
  26.     li_list = re.findall(find, text)print(li_list[0])if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())

11、在网页信息中提取得到需要图片信息：

在这里插入图片描述

12、进一步提取图片信息：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     url ='https://pic.netbian.com/index.html'
  7.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  8.     headers ={
  9.         # 'Host':'image.baidu.com'
  10.         # 'Cookie':
  11.         # 'Referer':"User-Agent":"hdy"}
  12.     # 后去网页get请求
  13.     response = requests.get(url=url, headers=headers)
  14.     # utf-8编码解码
  15.     response.encoding ='gbk'
  16.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  17.     text = response.text
  18.     print(text)return text
  20. # 2、从源码中解析出图片地址
  21. def Get_img_link(text):
  22.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  23.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  24.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  25.     # 对text网页信息截取符合find要求的的内容信息
  26.     li_list = re.findall(find, text)print(li_list[0])
  27.     # 截取特定格式的网页信息
  28.     find_img_link = re.compile('<img src="(.*?)" alt="(.*?)" />', re.S)
  29.     # 对li_list[0]信息截取符合find_img_link要求的的内容信息
  30.     img_list = re.findall(find_img_link, li_list[0])
  31.     # print(img_list)if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())

13、运行，从多张的图片的一整段信息，提取得到一张张图片的信息：

在这里插入图片描述

14、分别得到一张张图片信息（URL、标题）：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     url ='https://pic.netbian.com/index.html'
  7.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  8.     headers ={
  9.         # 'Host':'image.baidu.com'
  10.         # 'Cookie':
  11.         # 'Referer':"User-Agent":"hdy"}
  12.     # 后去网页get请求
  13.     response = requests.get(url=url, headers=headers)
  14.     # utf-8编码解码
  15.     response.encoding ='gbk'
  16.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  17.     text = response.text
  18.     print(text)return text
  20. # 2、从源码中解析出图片地址
  21. def Get_img_link(text):
  22.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  23.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  24.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  25.     # 对text网页信息截取符合find要求的的内容信息
  26.     li_list = re.findall(find, text)print(li_list[0])
  27.     # 截取特定格式的网页信息
  28.     find_img_link = re.compile('<img src="(.*?)" alt="(.*?)" />', re.S)
  29.     # 对li_list[0]信息截取符合find_img_link要求的的内容信息
  30.     img_list = re.findall(find_img_link, li_list[0])print(img_list)for i inimg_list:print(i)if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())

15、更清晰的显示图片信息：

在这里插入图片描述

16、向图片地址发送请求并保存：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     url ='https://pic.netbian.com/index.html'
  7.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  8.     headers ={
  9.         # 'Host':'image.baidu.com'
  10.         # 'Cookie':
  11.         # 'Referer':"User-Agent":"hdy"}
  12.     # 后去网页get请求
  13.     response = requests.get(url=url, headers=headers)
  14.     # gbk编码解码
  15.     response.encoding ='gbk'
  16.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  17.     text = response.text
  18.     print(text)return text
  20. # 2、从源码中解析出图片地址
  21. def Get_img_link(text):
  22.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  23.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  24.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  25.     # 对text网页信息截取符合find要求的的内容信息
  26.     li_list = re.findall(find, text)
  27.     # print(li_list[0])
  28.     # 截取特定格式的网页信息
  29.     find_img_link = re.compile('<img src="(.*?)" alt="(.*?)" />', re.S)
  30.     # 对li_list[0]信息截取符合find_img_link要求的的内容信息
  31.     img_list = re.findall(find_img_link, li_list[0])print(img_list)for i inimg_list:print(i)
  33. # 3、向图片发送请求，并保存图片
  34. def Save_img(link, title):
  35.     # img_url = f'https://pic.netbian.com/index.html'       # 第一页的图片地址
  36.     img_url = f'https://pic.netbian.com/{link}'   # 拼接图片地址链接（第2、3、、# ）
  37.     img_res = requests.get(url=img_url)   # 像图片地址发送请求
  38.     withopen(f'04_fild/{title}.jpg', mode='wb')asf:  # 以二进制方式写入jpg图片
  39.         f.write(img_res.content)
  40.     img_res.close()if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())
  41.     # 取需要保存的图片的部分URL链接
  42.     Save_img('uploads/allimg/210317/001935-16159115757f04.jpg','4k 高清 可爱 女生 动漫 长辫子 双马尾辫 项链 电脑 壁纸')

17、成功爬取一张图片：

在这里插入图片描述

18、改进程序，保存一个网页里面的多张图片：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     url ='https://pic.netbian.com/index.html'
  7.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  8.     headers ={
  9.         # 'Host':'image.baidu.com'
  10.         # 'Cookie':
  11.         # 'Referer':"User-Agent":"hdy"}
  12.     # 后去网页get请求
  13.     response = requests.get(url=url, headers=headers)
  14.     # gbk编码解码
  15.     response.encoding ='gbk'
  16.     # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  17.     text = response.text
  18.     print(text)return text
  20. # 2、从源码中解析出图片地址
  21. def Get_img_link(text):
  22.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  23.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  24.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  25.     # 对text网页信息截取符合find要求的的内容信息
  26.     li_list = re.findall(find, text)
  27.     # print(li_list[0])
  28.     # 截取特定格式的网页信息
  29.     find_img_link = re.compile('<img src="(.*?)" alt="(.*?)" />', re.S)
  30.     # 对li_list[0]信息截取符合find_img_link要求的的内容信息
  31.     img_list = re.findall(find_img_link, li_list[0])print(img_list)for i inimg_list:print(i[0], i[1])Save_img(i[0], i[1])
  33. # 3、向图片发送请求，并保存图片
  34. def Save_img(link, title):
  35.     # img_url = f'https://pic.netbian.com/index.html'       # 第一页的图片地址
  36.     img_url = f'https://pic.netbian.com/{link}'   # 拼接图片地址链接（第2、3、、# ）
  37.     img_res = requests.get(url=img_url)   # 像图片地址发送请求
  38.     withopen(f'04_fild/{title}.jpg', mode='wb')asf:  # 以二进制方式写入jpg图片
  39.         f.write(img_res.content)
  40.     img_res.close()if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())
  41.     # Save_img('uploads/allimg/210317/001935-16159115757f04.jpg','4k 高清 可爱 女生 动漫 长辫子 双马尾辫 项链 电脑 壁纸')

19、代码解析：

在这里插入图片描述

20、进一步改进代码，获取认识页数的全部图片：

  1. import requests
  2. import re
  4. # 1、获取图片网页源码
  5. def Get_Source_Page():
  6.     # 当爬虫程序运行爬网站，若不设置header为任意一个名字，会被有些网站检查出是python爬虫，被禁止访问
  7.     headers ={
  8.         # 'Host':'image.baidu.com'
  9.         # 'Cookie':
  10.         # 'Referer':"User-Agent":"hdy"}for i inrange(2,5):  # 若想要爬取多个页数的图片，就把这里的5改成想要爬的页数
  11.         # url ='https://pic.netbian.com/index.html'     # 首页的网页地址
  12.         if i ==1:
  13.             url = f'https://pic.netbian.com/index.html'else:
  14.             url = f'https://pic.netbian.com/index_{i}.html'   # 第i页的网页地址
  16.         # 后去网页get请求
  17.         response = requests.get(url=url, headers=headers)
  18.         # gbk编码解码
  19.         response.encoding ='gbk'
  20.         # 获取数据内容，并打印（获取网页源码很重要，每个网页都不尽相同，可以根据具体返回的网页信息来截取图片信息）
  21.         text = response.text
  22.         print(text)return text
  24. # 2、从源码中解析出图片地址
  25. def Get_img_link(text):
  26.     # 对整个网页截取有图片的地址、标题等信息的网页内容
  27.     # find要求的的内容信息”<ul class="clearfix">(.*?)</ul>“，<ul></ul>中间内容
  28.     find = re.compile('<ul class="clearfix">(.*?)</ul>', re.S)
  29.     # 对text网页信息截取符合find要求的的内容信息
  30.     li_list = re.findall(find, text)
  31.     # print(li_list[0])
  32.     # 截取特定格式的网页信息
  33.     find_img_link = re.compile('<img src="(.*?)" alt="(.*?)" />', re.S)
  34.     # 对li_list[0]信息截取符合find_img_link要求的的内容信息
  35.     img_list = re.findall(find_img_link, li_list[0])print(img_list)for i inimg_list:print(i[0], i[1])Save_img(i[0], i[1])
  37. # 3、向图片发送请求，并保存图片
  38. def Save_img(link, title):
  39.     # img_url = f'https://pic.netbian.com/index.html'       # 第一页的图片地址
  40.     img_url = f'https://pic.netbian.com/{link}'   # 拼接图片地址链接（第2、3、、# ）
  41.     img_res = requests.get(url=img_url)   # 像图片地址发送请求
  42.     withopen(f'04_fild/{title}.jpg', mode='wb')asf:  # 以二进制方式写入jpg图片
  43.         f.write(img_res.content)
  44.     img_res.close()if __name__=='__main__':Get_Source_Page()Get_img_link(Get_Source_Page())
  45.     # Save_img('uploads/allimg/210317/001935-16159115757f04.jpg','4k 高清 可爱 女生 动漫 长辫子 双马尾辫 项链 电脑 壁纸')
标签： python 爬虫 数据挖掘
本文转载自: https://blog.csdn.net/K_AAbb/article/details/127204404
版权归原作者 Kkh_8686 所有， 如有侵权，请联系我们删除。
登录后发布评论

“（三）爬取一些网页图片”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？