0


[Python爬虫] 抓取京东商品数据||京东商品API接口采集

本文结构:
一、引言
二、代码分享
三、问题总结

引言

这两天因为一些需求,研究了一下如何爬取京东商品数据。最开始还是常规地使用selenium库进行商品页的商品抓取,后来因为想要获取优惠信息,只能进入到商品详情页进行抓取,想着用selenium库模拟浏览器行为进行页面抓取速度有点慢,就改用了requests库直接发送请求,然后问题就来了:明明在页面看到了优惠满减字段,抓取的结果却是空白的。

百度研究了一番,总算找到了原因。最后因为商品抓取量不大,所以还是乖乖的使用了selenium库进行爬虫。

代码分享

爬虫代码如下:

# -*- coding: utf-8 -*-
"""
爬取京东商品排行榜商品信息
"""

from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd
import re
import time

##京东排行榜地址:https://top.jd.com/

writer=pd.ExcelWriter(r"D:\python学习\京东排行榜商品.xlsx")##数据写入的文件

##使用selenium模拟浏览器登陆
#需要下载安装chromedriver
driver = webdriver.Chrome(r"C:\chromedriver.exe")
driver.set_page_load_timeout(60)#设置页面最大加载等待时间

category = ["手机","平板电脑"]#需要爬取的品类
category_url = ["https://top.jd.com/sale?cateId=653","https://top.jd.com/sale?cateId=2694"]#爬取品类的网页

for ci,c in enumerate(category_url,start=0):
    driver.get(c)#发送请求
    time.sleep(3)

#################################获取排行榜信息###############################333
    info_name =[] #商品信息
    tag1 = [] #标签一:x天最低
    tag2 = [] #标签二:自营/包邮/促销/赠品
    tag3 = [] #标签三:好评率
    price = [] #商品价格
    link = [] #商品详情页

    bs = BeautifulSoup(driver.page_source,"html.parser")
    sale_list = bs.findAll("li",class_=re.compile('saleitem'))
    for s in sale_list:
        info_name.append(s.find("p",class_ = "saleitem_info_name").get_text())

        t = s.find("li",class_ = "top_mod_tag_item top_mod_tag_dj")
        if t is not None:
            tag1.append(t.get_text())
        else:
            tag1.append("")
        t = s.find("li",class_ = re.compile("top_mod_tag_item top_mod_tag_[^(dj)]"))
        if t is not None:
            tag2.append(t.get_text())
        else:
            tag2.append("")
        t = s.find("li",class_ = "top_mod_tag_item",text=re.compile("好评率.*"))
        if t is not None:
            tag3.append(t.get_text())
        else:
            tag3.append("")
        price.append(s.find('p',class_ = "saleitem_info_price").get_text())
        link.append(s.find('a',class_ = "saleitem_link").get("href"))

#################进入商品详情页,获取商品的优惠券########################  
    coupon = []
    for i,l in enumerate(link, start=1):
        driver.get(r"https:" + l)
        time.sleep(3)
        bs = BeautifulSoup(driver.page_source,"html.parser")
        try:
            coupon.append(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text").get_text())
        except:
            coupon.append("")
        print("抓取品类:%s,第%d个商品优惠券信息完成" %(category[ci],i))
        time.sleep(3)

    data = pd.DataFrame({"商品信息":info_name,"标签一(x天最低)":tag1,"标签二(自营/包邮/促销/赠品)":tag2,"标签三(好评率)":tag3,"价格":price,"商品详情页":link,"优惠券":coupon})
    data.to_excel(writer,sheet_name=category[ci],index=False)

driver.close()    

爬虫的步骤很简单。直接使用selenium库webdriver访问需要抓取的网址,然后进行html标签定位,使用Beautifulsoup库进行数据提取,之后使用pandas写入excel文件保存。

抓取结果如下:

图片

问题总结

最开始的问题出在哪儿呢?为什么如果直接使用requests库get请求,结果抓取不到价格数据?

简单代码尝试了一下

import requests
from bs4 import BeautifulSoup
response = requests.get("https://item.jd.com/27009615825.html")
bs = BeautifulSoup(response.content,"html.parser")
print(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text"))

明明打开浏览器的开发者工具可以看到优惠信息就存放在class属性值为 ‘text’的span标签下,但是抓取到的结果却为空。

图片

输出结果如下:

In[1]: print(bs.find("div",class_="summary").find("div",id = "summary-quan").find("span",class_ = "text"))None

百度了解到的原因是,京东网页中价格等信息并不是存放在静态网页中的,我们使用requests获取到网页源码,进行html解析,只会获取到空值。京东会采取js动态加载数据。那些商品价格、优惠券信息等等,并不是放在静态网页中的。每次加载页面,js脚本都会对数据接口进行调用请求数据,然后返回到页面上。所以,对于动态页面的抓取,一种办法就是借助工具找到js脚本请求的数据接口,使用requests库直接访问该接口获取数据。如价格信息就放在:

https://p.3.cn/prices/mgets?callback=jQuery6775278&skuids=J_(skuid)

其中链接最后括号里存放商品的sku id,比如:

https://p.3.cn/prices/mgets?callback=jQuery6775278&skuids=J_27009615825

商品的sku id可以在商品详情页的html抓取到。

关于京东的数据抓取,网上能百度到有完整的项目,有兴趣的可以了解一下:

CSDN地址:
https://blog.csdn.net/Kandy_Ye/article/details/70183110
Github代码:
https://github.com/KandyYe/JDSpider

另外,更加简单的一种办法就是使用selenium库进行数据采集了。selenium模拟浏览器行为,等到页面加载完成后,再获取完整的数据源码,所以在处理数据的时候就不需要担心我们抓取不到啦。但是有点小缺陷就是,selenium库比requests要慢。

据说还有一个两者的结合体——requestium,或许可以有更好


本文转载自: https://blog.csdn.net/onebound_linda/article/details/140267058
版权归原作者 电商数据girl 所有, 如有侵权,请联系我们删除。

“[Python爬虫] 抓取京东商品数据||京东商品API接口采集”的评论:

还没有评论