selenium职来职往2

import csv
import time

from selenium import webdriver
from bs4 import BeautifulSoup as bs
def writeCSV(data):
    if data:
        with open(r'job.csv',"a",encoding='utf-8',newline='')as fp:
            writer=csv.writer(fp)
            writer=writer.writerows(data)
def get_content(urls):
    browser=webdriver.Chrome(r'D:\chromedriver')
    browser.get(urls)
    browser.maximize_window()
    time.sleep(2)
    data=browser.page_source
    soup = bs(data, 'lxml')
    soup = soup.find_all('div', class_="job-list")
    soup = soup[0].find_all('ul')
    soup = soup[0].find_all('li')
    data = []
    for item in soup:
        workname = item.find_all('span', class_="job-name")
        workaddress = item.find_all('span', class_="job-area")
        worksalary = item.find_all('span', class_="red")
        data.append([workname[0].text, workaddress[0].text, worksalary[0].text])
    writeCSV(data)
def deeprequest():
    keyword = input('请输入您要查询的职位名称\n')
    for item in range(1,3):
        urls='https://www.zhipin.com/c100010000/?query={}&page={}'.format(keyword,item)
        # print(item)
        get_content(urls)
deeprequest()

***import csv***: 导入csv模块，用于读写CSV文件。

• ***import time***: 导入time模块，用于添加延时等待。

• ***from selenium import webdriver***: 从selenium库导入webdriver模块，用于实现自动化浏览器操作。

• ***from bs4 import BeautifulSoup as bs***: 从BeautifulSoup库导入BeautifulSoup模块，用于解析HTML页面。

***writeCSV(data)***: 定义一个函数writeCSV，用于将数据写入CSV文件。接受一个参数data，如果data不为空，则将data写入名为"job.csv"的CSV文件中。

***get_content(urls)***: 定义一个函数get_content，用于获取指定URL的职位信息并调用writeCSV将数据写入CSV文件。接受一个参数urls，表示要获取信息的URL。

1. 创建一个Chrome浏览器实例，并设置浏览器窗口最大化。

2. 通过browser.get(urls)打开指定的URL。

3. 等待2秒，确保页面完全加载。

4. 获取页面源代码，并使用BeautifulSoup解析。

5. 在解析后的HTML中找到class为"job-list"的div标签，并将其保存在soup变量中。

6. 在soup中找到所有的ul标签，并将结果保存在soup变量中。

7. 在soup中找到所有的li标签，并将结果保存在soup变量中。

8. 创建一个空列表data，用于存储职位信息。

9. 遍历每个li标签，在每个li标签中找到class为"job-name"的span标签，将其文本内容作为职位名称。

10. 在每个li标签中找到class为"job-area"的span标签，将其文本内容作为工作地点。

11. 在每个li标签中找到class为"red"的span标签，将其文本内容作为工资。

12. 将职位名称、工作地点和工资组成一个列表，并添加到data列表中。

13. 调用writeCSV(data)将data写入CSV文件中。

deeprequest(): 定义一个函数deeprequest，用于进行深度请求。首先通过用户输入获取要查询的职位关键字，然后循环遍历1到2之间的数字，生成对应页面的URL，并调用get_content(urls)获取职位信息并写入CSV文件。

最后，调用deeprequest()函数开始执行爬取任务。