人生苦短,我用Python
序言
好兄弟们,陪玩大家多少都知道亿点吧!
漂亮妹妹超级多,长得又好看,还会萝莉音御姐音,滋溜~
就是说,今天来带咱们来爬爬陪玩的数据,一起看看行情咋样~
工欲善其事,必先利其器
我们爬东西,一般都是用的这几步:
1、数据来源分析
确定需求,采集那个网站上面什么数据。
抓包分析,通过开发者工具进行抓包分析。
2、实现步骤
- 发送请求,对于刚刚分析得到url地址发送请求;
- 获取数据, 获取服务器返回响应数据;
- 解析数据, 提取我们想要数据内容,音频试音,陪玩照片, 基本陪玩数据;
- 保存数据, 保存本地文件夹;
3、环境与模块
环境
python 3.8
pycharm
模块安装使用
import requests # 数据请求模块from pprint import pprint # 格式化输出模块import json # json模块import csv # csv模块import os.path # 自动创建文件模块
requests 是导入数据请求模块,属于第三方模块,需要在cmd里面或者pycharm终端里面进行安装 pip install requests 安装。
其它三个都是内置模块,不需要安装。
代码展示
代码仅做展示,完整代码文末名片自取哈,我也录了对应的视频讲解,一起发给你~
c =open('data.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(c, fieldnames=['昵称','价格','热度','简介','详情页',])
csv_writer.writeheader()for page inrange(1,11):
url ='https://****/api'
data ={'act':'userList','page': page,'type':'1','sex':'2','voice':'1','order':'1',}
response = requests.post(url=url, data=data)for index in response.json()['data']['rows']:
dit ={'昵称': index['nickname'],'价格': index['price'],'热度': index['exp'],'简介': index['summary'].replace('\n',''),'详情页':f'https://*****/user/{index["uid"]}',
audio_url ='https://****/'+ json.loads(index['voice'])['url']
img_url =f'https://****/user/avatar/{index["uid"]}?image…ew2/1/interlace/1/ignore-error/1/w/100/format/jpg'
img_content = requests.get(url=img_url).content
audio_content = requests.get(url=audio_url).content
title = index["nickname"]file=f'data\\{title}\\'ifnot os.path.exists(file):
os.makedirs(file)withopen(file+ title +'.jpg', mode='wb')as img:
img.write(img_content)withopen('img\\'+ title +'.jpg', mode='wb')as img:
img.write(img_content)withopen(file+ title +'.mp3', mode='wb')as audio:
audio.write(audio_content)
csv_writer.writerow(dit)print(dit)
网址只能屏蔽了,不然发不出~
好兄弟们,不知不觉都写到半夜了,最后再给大家分享一波Python视频吧,希望对各位有所帮助:
Python零基础入门全套教程
Python进阶全套教程
Python实战100例
溜了溜了~
睡觉睡觉~
版权归原作者 嗨学编程 所有, 如有侵权,请联系我们删除。