0


用selenium爬取直播信息,web前端开发规范

dic_data[‘hot’] = li.find_element_by_xpath(‘./div/a/div[2]/div[2]/span’).text

data_list.append(dic_data)

return data_list

2.保存数据的函数


(1)保存为txt文本

#保存数据的函数

def save_data(self,data_list,i):

#在当前目录下将数据存为txt文件

with open(‘./douyu.txt’,‘w’,encoding=‘utf-8’) as fp:

for data in data_list:

data = str(data)

fp.write(data+‘\n’)

print(“第%d页保存完成!” % i)

(2)保存为json文件

#保存数据的函数

def save_data(self,data_list,i):

with open(‘./douyu.json’,‘w’,encoding=‘utf-8’) as fp:

#里面有中文,所以注意ensure_ascii=False

data = json.dumps(data_list,ensure_ascii=False)

fp.write(data)

print(“第%d页保存完成!” % i)

3.主函数设计


#主函数

def run(self):

#输入要爬取的页数,如果输入负整数,转化成她的绝对值

page_num = abs(int(input(“请输入你要爬取的页

标签: selenium 前端 python

本文转载自: https://blog.csdn.net/m0_60707606/article/details/136969943
版权归原作者 面试秘籍Java 所有, 如有侵权,请联系我们删除。

“用selenium爬取直播信息,web前端开发规范”的评论:

还没有评论