已解决,使用关键词进行百度搜索,然后爬取搜索结果,请求数据后,返回的是百度安全验证,网络不给力,请稍后重试。无法请求到正确数据。且尝试在header中增加Accept参数还是不行。
一、问题产生的现象
在学习过程中,写了一小段练习用的爬取程序,获取百度关键词搜索后的结果,代码如下:
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.95 Safari/537.36',
}
url = 'https://www.baidu.com/s?wd=python'
reponse = requests.get(url, headers=headers, timeout=10)
reponse.encoding = reponse.apparent_encoding
content = reponse.text
print(content)
运行后,打印出来的结果显示: ![](https://img-blog.csdnimg.cn/781e5608a2bb4063912c4fc4e2f1d810.png)
本文转载自: https://blog.csdn.net/c1007857613/article/details/130280711
版权归原作者 阳光宅男xxb 所有, 如有侵权,请联系我们删除。
版权归原作者 阳光宅男xxb 所有, 如有侵权,请联系我们删除。