【python】批量获取企业公司的统一社会代码

1.任务需求

输入

给定一个公司企业的列表，用excel存放，如下图所示：

输出

通过企查查（或者天眼查等）获取企业的18位统一社会代码，最终存放在excel中，如下所示：

2.解决办法

使用python中的web自动化测试包selenium可以解决。

代码如下：

import openpyxl
from time import sleep

#获取查询名单
list_name = []
path = r'C:\Users\Aiken\Desktop\data.xlsx'
wb = openpyxl.load_workbook(path)
wb_sheet = wb['Sheet2']
maxrows = wb_sheet.max_row
for i in range(maxrows-1):
    name = wb_sheet.cell(i+2,1).value
    list_name.append(name)

from selenium import webdriver
# #进入企查查
driver = webdriver.Chrome()
url = 'https://www.qcc.com/?utm_source=baidu1&utm_medium=cpc&utm_term=pzsy'
driver.get(url)
driver.refresh()

sleep(15)
cnt = 0
for j in list_name:
    cnt += 1
    # 如果发生需要验证码或者登陆的情况，可以用if判断在上一次中断的地方继续
    # if(cnt >= 353) :
    # sleep(1)
    driver.find_element_by_id('searchKey').clear() #定位到搜索框
    driver.find_element_by_id('searchKey').send_keys(j) #在搜索框中输入查询企业名单
    try:
        driver.find_element_by_xpath('/html/body/div[1]/div[2]/section[1]/div/div/div/div[1]/div/div/span/button').click()
    except:
        driver.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div/div/div/div/span/button').click()
    try:
        name_id = driver.find_element_by_xpath('/html/body/div[1]/div[2]/div[2]/div[3]/div/div[2]/div/table/tr[1]/td[3]/div/div[4]/div[1]/span[4]/span/div/span[1]').text
    except:
        name_id = "0000"
    print(cnt, j, name_id)

    wb_sheet.cell(list_name.index(j)+2,2,value = name_id)

wb.save(path)
wb.close()
driver.close()

3.运行结果

终端会输出相关信息，同时如果不报错的话，会直接写入到excel中。

4.特殊情况

4.1 公司统一社会代码为0？

部分公司数据可能为0，这是因为有的公司的企查查信息布局不一样，导致使用html语法定位时候没找到数据。如果数据量少，可以直接手动修改。如果数据量多，可以修改代码。

4.2 搜索次数过多，会弹出验证码或者登陆界面？

可以设置好睡眠时间sleep(10)，手动扫码登陆，然后通过断点的方式继续输出，然后把输出的数据放到txt中，再转化一下就行。 (更好的办法肯定是解决反爬虫机制！)

4.3 安装selenium包，提示没有find_element_by_id用法？

这是因为高版本的selenium更改了语法方式。可以把selenium版本更改为3.3.1（亲测可行）