dic_data[‘hot’] = li.find_element_by_xpath(‘./div/a/div[2]/div[2]/span’).text
data_list.append(dic_data)
return data_list
2.保存数据的函数
(1)保存为txt文本
#保存数据的函数
def save_data(self,data_list,i):
#在当前目录下将数据存为txt文件
with open(‘./douyu.txt’,‘w’,encoding=‘utf-8’) as fp:
for data in data_list:
data = str(data)
fp.write(data+‘\n’)
print(“第%d页保存完成!” % i)
(2)保存为json文件
#保存数据的函数
def save_data(self,data_list,i):
with open(‘./douyu.json’,‘w’,encoding=‘utf-8’) as fp:
#里面有中文,所以注意ensure_ascii=False
data = json.dumps(data_list,ensure_ascii=False)
fp.write(data)
print(“第%d页保存完成!” % i)
3.主函数设计
#主函数
def run(self):
#输入要爬取的页数,如果输入负整数,转化成她的绝对值
page_num = abs(int(input(“请输入你要爬取的页
版权归原作者 面试秘籍Java 所有, 如有侵权,请联系我们删除。