Python自动化小技巧13——批量下载北交所上市公司年报

案例背景

同学问能不能爬虫下载年报，要下很多公司，一个一个搜索下载太慢了...

这种重复性的劳动交给Python脚本可太适合了

核心思想还是使用selenium库去模拟人输入股票代码和搜索下载。

北交所网站：

上市公司公告 - 北京证券交易所 (bse.cn)

代码实现

导入包

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

from bs4 import BeautifulSoup
import os
import pandas as pd
from time import sleep

模拟点击：

这里用的是edge的驱动器，需要去官网下载:

然后把msedgedriver.exe文件和代码放在一个目录下就能运行了。

使用EdgeOptions()的类设置了一下浏览器的设置，让pdf下载的位置都进行了设定，免得下载了找不到......

要下载的公司的股票代码放在stock列表里面就行。我这里就只用了两个公司测试一下。

from selenium.webdriver import Edge
from selenium.webdriver.edge.options import Options as EdgeOptions
options = EdgeOptions()
options.add_experimental_option('prefs', {
    "download.default_directory": 'D:\\AAA最近要用\\下载',  #下载的年报存储路径
    "download.prompt_for_download": False, #To auto download the file
    "download.directory_upgrade": True,
    "plugins.always_open_pdf_externally": True #It will not show PDF directly in chrome
})

driver = webdriver.Edge("msedgedriver", options=options)
url = "http://www.bse.cn/disclosure/announcement.html"
driver.implicitly_wait(10)
driver.get(url)
sleep(5)
stock=['837344','837242']  #代码列表
driver.find_element(By.XPATH,'//*[@id="root"]/div[4]/div/div/div[1]/div/div[1]/div/div[4]/div/div/span[2]').click()
for i in range(len(stock)):
    code=driver.find_element(By.XPATH,'//*[@id="companyCode"]')
    code.clear()
    code.send_keys(stock[i])
    driver.find_element(By.XPATH,'//*[@id="submit "]').click()
    
    driver.find_element(By.XPATH,'//*[@id="table"]/table/tbody/tr[1]/td[4]/a').click()#下载摘要
    sleep(5)
    driver.find_element(By.XPATH,'//*[@id="table"]/table/tbody/tr[2]/td[4]/a').click()#下载报告
    sleep(5)
    code.clear()
    sleep(2)
    print(f'{stock[i]}的2021年年报下载完成')
    
driver.quit()

上面代码就是输入股票代码，点击查询，然后点击前两个pdf链接，然后清空搜索行重新输入下一个股票代码，查询，下载.....循环往复。

我这里模拟只点击了 前两个pdf文件，也就是2021的年报和摘要。如果需要更多的年份也是可以再加几个Xpath路径点击就行。

然后就下载完成啦。