0


爬虫手把手教你爬取10页京东商品评论(文章最后附完整代码)

爬取京东商城上的食品评论:王小卤

废话不多说直接开始

打开并登录京东商城:京东,在主页面搜索“王小卤”,点击第一个商品,查看商品评价,选择“只看当前商品评价”。

1、按F12跳出开发者工具;

2、点击Network;

3、刷新网址;刷新之后可以看到在左侧的Name里面会出现很多信息

4、点击Preview

找到评论数据,如下图

接着切换到Headers窗口,在这里能找到所需url,请求头所需的内容如cookie,user-agent等内容,这里我们仅需要urluser-agent

将url和user-agent分别填入请求网址和请求头中

 url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_skuProductPageComments&client=pc&clientVersion=1.0.0&t=1696496033135&loginType=3&uuid=122270672.16964955125501525477821.1696495513.1696495513.1696495707.2&productId=100014336380&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1&bbtf=&shield='
    time.sleep(1)  # 防止操作过快,网站防爬
    # 请求头
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url=url, headers=headers)

接着查看网络请求的响应信息,找到关键字

使用正则表达式指定要匹配的字符。*r'"content":"(.?)",'表示要查找的内容应该以"content":"开头,以",结尾。.*?**表示匹配任意字符(除了换行符)零次或多次,使用非贪婪模式,即尽可能少地匹配字符。

#评论的ID和内容
comments = re.findall(r'"content":"(.*?)",', response.content.decode('gbk'))
names = re.findall(r'"nickname":"(.*?)",', response.content.decode('gbk'))

抓取10页

for page in range(10):  # 爬取10页评论数据

修改请求网址中page的值:

写入Excel表,结果如下图所示:

完整代码

import requests
import re
import time
import openpyxl

comments_list = []
names_list = []

for page in range(10):  # 爬取10页评论数据
    # 请求网址
    url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_skuProductPageComments&client=pc&clientVersion=1.0.0&t=1696496033135&loginType=3&uuid=122270672.16964955125501525477821.1696495513.1696495513.1696495707.2&productId=100014336380&score=0&sortType=5&page='+str(page)+'&pageSize=10&isShadowSku=0&fold=1&bbtf=&shield='
    time.sleep(1)  # 防止操作过快,网站防爬
    # 请求头
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url=url, headers=headers)
    # 解决网页数据乱码
    response.encoding = 'gbk'
    #评论的ID和内容
    comments = re.findall(r'"content":"(.*?)",', response.content.decode('gbk'))
    for comment in comments:
        comments_list.append(comment)
    names = re.findall(r'"nickname":"(.*?)",', response.content.decode('gbk'))
    for name in names:
        names_list.append(name)

print(comments_list)
print(names_list)

workbook=openpyxl.Workbook()
sheet=workbook.active
sheet['A1']='ID'
sheet['B1']='评论内容'
for i, value in enumerate(names_list, start=2):
    sheet.cell(row=i, column=1).value=value

for i, value in enumerate(comments_list, start=2):
    sheet.cell(row=i, column=2).value=value
workbook.save('王小卤.xlsx')

喜欢的话点个赞再走吧~~~


本文转载自: https://blog.csdn.net/fffyyyhhh12/article/details/134644539
版权归原作者 小方只会百度 所有, 如有侵权,请联系我们删除。

“爬虫手把手教你爬取10页京东商品评论(文章最后附完整代码)”的评论:

还没有评论