使用Python 和 Selenium 爬取CSDN 博客排行榜数据 附源码

在这篇博客中，我将分享如何使用Python、Selenium和BeautifulSoup爬取CSDN博客页面上的特定数据。我们将通过一个示例代码展示如何实现这一目标。

准备工作

首先，我们需要安装一些必要的库：

pip install selenium beautifulsoup

代码实现

以下是完整的代码：

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化参数
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')

# 使用Selenium打开页面
driver = webdriver.Chrome(options=chrome_options)
url = 'https://blog.csdn.net/rank/list/content?type=python'
driver.get(url)