碾压！用selenium自动采集抖音评论，一次性干完！保姆级教程

可以看到，每一个标签对应一个主评论

思路也就很显而易见了，我们用selenium自动化控制Chrome浏览器实例，控制页面下滑，将其加载出的html源码提取出来评论者，评论内容，评论者ip地址，汇总爬出即可。

二、代码详解

1. 导入必要的模块

import os
import time
import csv
import tkinter as tk
from tkinter import messagebox, scrolledtext
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import (
    NoSuchElementException,
    StaleElementReferenceException,
    WebDriverException
)
import pandas as pd
import threading

这些模块涵盖了文件操作、时间控制、GUI创建、Web浏览器自动化和数据处理等功能，是实现工具所需的基础。

如果你没有安装，可以使用python中的pip下载

pip install selenium pandas

2. 路径设置与检查

路径：

desktop_path = os.path.join(os.path.expanduser("~"), "Desktop")
chrome_driver_path = os.path.join(desktop_path, "抖音采集", "Chrome", "chromedriver.exe")
chrome_exe_path = os.path.join(desktop_path, "抖音采集", "Chrome", "chrome.exe")
user_data_path = os.path.join(desktop_path, "抖音采集", "Chrome", "RENKE", "RENKE1")
icon_path = os.path.join(desktop_path, "抖音采集", "RENKE.ico")

检查：

def check_paths():
    missing_files = []
    if not os.path.exists(chrome_driver_path):
        missing_files.append(f"未找到 ChromeDriver，路径为: {chrome_driver_path}")
    if not os.path.exists(chrome_exe_path):
        missing_files.append(f"未找到 Chrome.exe，路径为: {chrome_exe_path}")
    if not os.path.exists(user_data_path):
        missing_files.append(f"未找到用户数据路径，路径为: {user_data_path}")
    if not os.path.exists(icon_path):
        print(f"警告: 未找到图标文件，路径为: {icon_path}. 将使用默认图标。")
    if missing_files:
        for msg in missing_files:
            messagebox.showerror("错误", msg)
        return False
    return True

check_paths()

函数用于验证所有必要的文件和路径是否存在。如果缺少关键文件（如ChromeDriver、Chrome浏览器或用户数据路径），则会弹出错误提示，确保工具运行所需的所有资源都已正确配置。

3. 配置Chrome选项

def configure_chrome_options():
    chrome_options = Options()
    chrome_options.binary_location = chrome_exe_path
    chrome_options.add_argument(f"user-data-dir={user_data_path}")
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    chrome_options.add_argument("--disable-infobars")
    chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
    chrome_options.add_experimental_option('useAutomationExtension', False)
    return chrome_options

configure_chrome_options()

函数配置了Chrome浏览器的启动选项，包括：

• binary_location：指定Chrome浏览器的可执行文件位置。
• user-data-dir：指定用户数据目录，以保持登录状态。
• disable-blink-features、disable-infobars等参数：减少被检测为自动化工具的可能性，提升脚本的隐蔽性和稳定性。

4. 页面滚动函数

def scroll_down(driver, max_scrolls=30, pause=2, log_callback=None):
    actions = ActionChains(driver)
    for i in range(max_scrolls):
        try:
            body = driver.find_element(By.TAG_NAME, "body")
            actions.move_to_element(body).click().perform()
            body.send_keys(Keys.END)
            time.sleep(pause)
            if log_callback:
                log_callback(f"已下滑 {i+1} 次")
        except NoSuchElementException:
            if log_callback:
                log_callback("未能找到 body 元素，跳过此次滚动。")
            continue
        except WebDriverException as e:
            if log_callback:
                log_callback(f"Selenium 异常: {e}")
            continue

利用Selenium的功能，脚本模拟用户的滚动行为。具体来说，脚本会定位到页面的

body

元素，模拟点击以激活加载，然后发送按键滚动到页面底部。每次下滑后，脚本会暂停一段时间，以确保新加载的评论能够被正确捕捉。通过用户界面输入的下滑次数，脚本控制滚动的频率和总次数，确保能够加载足够多的评论。

5. 采集评论函数

def scrape_comments(driver, url, scroll_times, log_callback=None):
    data = []
    try:
        driver.get(url)
        if log_callback:
            log_callback(f"正在加载页面: {url}")
        time.sleep(5)  # 根据网络情况调整等待时间

        scroll_down(driver, max_scrolls=scroll_times, pause=3, log_callback=log_callback)

        try:
            comments = driver.find_elements(By.CSS_SELECTOR, 'div[data-e2e="comment-item"]')
            if log_callback:
                log_callback(f"共找到 {len(comments)} 条评论")
        except NoSuchElementException:
            if log_callback:
                log_callback("未找到评论元素。")
            comments = []

        for comment in comments:
            try:
                username_element = comment.find_element(By.CSS_SELECTOR, 'a.uz1VJwFY')
                username = username_element.text.strip()

                comment_content_element = comment.find_element(By.CSS_SELECTOR, 'div.C7LroK_h')
                comment_content = comment_content_element.text.strip()

                location_element = comment.find_element(By.CSS_SELECTOR, 'div.fJhvAqos > span')
                location_text = location_element.text.strip()
                if '·' in location_text:
                    _, location = location_text.split('·', 1)
                else:
                    location = "未知"

                data.append({
                    '视频链接': url,
                    '评论人': username,
                    '评论内容': comment_content,
                    '位置': location
                })
            except NoSuchElementException:
                continue
            except StaleElementReferenceException:
                continue
    except Exception as e:
        if log_callback:
            log_callback(f"处理 URL 时发生异常: {e}")
    return data

在完成页面滚动后，脚本使用CSS选择器定位所有评论元素。对于每个评论元素，脚本会提取以下信息：

• 评论人名称：通过定位特定的链接元素，提取评论人的用户名。
• 评论内容：提取评论的文本内容，包含文字和表情符号。
• 位置信息：提取评论的位置信息，如“1周前·上海”，并从中提取城市名称。

所有提取到的数据会被整理成字典格式，并存储在一个列表中，以便后续的数据处理和保存。

6. 主采集函数

def start_scraping(urls, scroll_times, log_callback=None):
    if not check_paths():
        return

    chrome_options = configure_chrome_options()
    service = Service(executable_path=chrome_driver_path)

    try:
        driver = webdriver.Chrome(service=service, options=chrome_options)
    except Exception as e:
        messagebox.showerror("错误", f"无法启动 Chrome 浏览器: {e}")
        return

    all_data = []

    for idx, url in enumerate(urls, start=1):
        if not url.strip():
            continue
        if log_callback:
            log_callback(f"开始采集第 {idx} 个链接: {url}")
        data = scrape_comments(driver, url.strip(), scroll_times, log_callback=log_callback)
        all_data.extend(data)
        if log_callback:
            log_callback(f"完成采集第 {idx} 个链接: {url}")

    # 保存到 CSV
    if all_data:
        csv_file = os.path.join(desktop_path, "抖音评论采集.csv")
        try:
            df = pd.DataFrame(all_data).drop_duplicates()
            df.to_csv(csv_file, index=False, encoding='utf-8-sig')
            if log_callback:
                log_callback(f"评论已保存到 {csv_file}")
            messagebox.showinfo("完成", f"评论已保存到 {csv_file}")
        except Exception as e:
            messagebox.showerror("错误", f"保存 CSV 文件时发生错误: {e}")
    else:
        if log_callback:
            log_callback("未采集到任何评论。")
        messagebox.showwarning("警告", "未采集到任何评论。")

    # 关闭浏览器
    driver.quit()

start_scraping()

函数是整个采集过程的核心，负责处理多个视频链接。它首先检查必要的文件路径是否存在，配置Chrome选项，并启动Chrome浏览器。然后，它遍历所有输入的链接，调用

scrape_comments()

函数采集每个链接的评论数据，并将所有数据汇总。最后，使用

pandas

将数据保存到CSV文件中，并关闭浏览器。

7. 用户界面创建

def create_gui():
    root = tk.Tk()
    root.title("壬科科技 软件仅用于测试学习，禁止一切非法用途")

    # 设置图标
    if os.path.exists(icon_path):
        try:
            root.iconbitmap(icon_path)
        except Exception as e:
            print(f"设置图标时发生异常: {e}")

    root.geometry("700x700")

    # 标签
    label = tk.Label(root, text="请输入抖音视频链接（每行一个）：")
    label.pack(pady=10)

    # 文本框
    text_box = scrolledtext.ScrolledText(root, width=80, height=15)
    text_box.pack(pady=10)

    # 滑动次数标签和输入框
    scroll_label = tk.Label(root, text="请输入页面下滑次数（默认30）：")
    scroll_label.pack(pady=5)

    scroll_entry = tk.Entry(root, width=10)
    scroll_entry.insert(0, "30")  # 默认值为30
    scroll_entry.pack(pady=5)

    # 日志框
    log_label = tk.Label(root, text="日志输出：")
    log_label.pack(pady=5)
    log_box = scrolledtext.ScrolledText(root, width=80, height=15, state='disabled')
    log_box.pack(pady=5)

    # 记录日志的函数
    def log(message):
        log_box.configure(state='normal')
        log_box.insert(tk.END, message + "\n")
        log_box.configure(state='disabled')
        log_box.see(tk.END)

    # 开始按钮的回调函数
    def on_start():
        urls = text_box.get("1.0", tk.END).strip().split('\n')
        scroll_times_str = scroll_entry.get().strip()
        if not urls or all(not url.strip() for url in urls):
            messagebox.showwarning("警告", "请在文本框中输入至少一个抖音视频链接。")
            return
        try:
            scroll_times = int(scroll_times_str)
            if scroll_times <= 0:
                raise ValueError
        except ValueError:
            messagebox.showwarning("警告", "请输入一个有效的正整数作为下滑次数。")
            return

        start_button.config(state='disabled')
        root.update()

        # 在新线程中运行采集，以避免阻塞 GUI
        def run_scraping():
            start_scraping(urls, scroll_times, log_callback=log)
            start_button.config(state='normal')

        threading.Thread(target=run_scraping).start()

    # 开始按钮
    start_button = tk.Button(root, text="开始采集", command=on_start, width=20, bg="green", fg="white")
    start_button.pack(pady=10)

    root.mainloop()

create_gui()

函数负责创建用户界面，具体组件包括：

• 主窗口：使用Tkinter创建一个主窗口，并设置窗口标题和图标。
• 输入框：一个滚动文本框，用户可以在此处粘贴多个抖音视频链接，每行一个。
• 下滑次数输入框：一个文本输入框，用户可以输入希望页面下滑的次数，默认值为30。
• 日志输出框：一个滚动文本框，用于实时显示采集过程中的日志信息。
• 开始采集按钮：点击后启动采集过程。为了确保界面在采集过程中保持响应，采集任务在一个独立的线程中运行。

8. 程序入口

if __name__ == "__main__":
    create_gui()

如果大家做过卡密系统的都知道，这个地方可是设置一个门，定义一个检查函数，用于验证用户信息，单机单卡等等，这里我便不再赘述！

三、完整代码

完整代码我放这了，嘿嘿！こん ✿(。◕‿◕。)✿

import os
import time
import csv
import tkinter as tk
from tkinter import messagebox, scrolledtext
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import (
    NoSuchElementException,
    StaleElementReferenceException,
    WebDriverException
)
import pandas as pd
import threading

# 设置路径
desktop_path = os.path.join(os.path.expanduser("~"), "Desktop")
chrome_driver_path = os.path.join(desktop_path, "抖音采集", "Chrome", "chromedriver.exe")
chrome_exe_path = os.path.join(desktop_path, "抖音采集", "Chrome", "chrome.exe")
user_data_path = os.path.join(desktop_path, "抖音采集", "Chrome", "RENKE", "RENKE1")
icon_path = os.path.join(desktop_path, "抖音采集", "RENKE.ico")

# 检查必要文件是否存在
def check_paths():
    missing_files = []
    if not os.path.exists(chrome_driver_path):
        missing_files.append(f"未找到 ChromeDriver，路径为: {chrome_driver_path}")
    if not os.path.exists(chrome_exe_path):
        missing_files.append(f"未找到 Chrome.exe，路径为: {chrome_exe_path}")
    if not os.path.exists(user_data_path):
        missing_files.append(f"未找到用户数据路径，路径为: {user_data_path}")
    if not os.path.exists(icon_path):
        print(f"警告: 未找到图标文件，路径为: {icon_path}. 将使用默认图标。")
    if missing_files:
        for msg in missing_files:
            messagebox.showerror("错误", msg)
        return False
    return True

# 配置 Chrome 选项
def configure_chrome_options():
    chrome_options = Options()
    chrome_options.binary_location = chrome_exe_path
    chrome_options.add_argument(f"user-data-dir={user_data_path}")
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    chrome_options.add_argument("--disable-infobars")
    chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
    chrome_options.add_experimental_option('useAutomationExtension', False)
    return chrome_options

# 滚动页面加载更多评论，最多下滑指定次数
def scroll_down(driver, max_scrolls=30, pause=2, log_callback=None):
    actions = ActionChains(driver)
    for i in range(max_scrolls):
        try:
            # 找到 body 元素
            body = driver.find_element(By.TAG_NAME, "body")
            # 模拟点击页面以激活加载
            actions.move_to_element(body).click().perform()
            # 滚动页面到底部
            body.send_keys(Keys.END)
            time.sleep(pause)
            if log_callback:
                log_callback(f"已下滑 {i+1} 次")
        except NoSuchElementException:
            if log_callback:
                log_callback("未能找到 body 元素，跳过此次滚动。")
            continue
        except WebDriverException as e:
            if log_callback:
                log_callback(f"Selenium 异常: {e}")
            continue

# 采集单个视频的评论
def scrape_comments(driver, url, scroll_times, log_callback=None):
    data = []
    try:
        driver.get(url)
        if log_callback:
            log_callback(f"正在加载页面: {url}")
        # 等待页面加载
        time.sleep(5)  # 根据网络情况调整等待时间

        # 开始滚动页面
        scroll_down(driver, max_scrolls=scroll_times, pause=3, log_callback=log_callback)

        # 找到所有评论元素
        try:
            comments = driver.find_elements(By.CSS_SELECTOR, 'div[data-e2e="comment-item"]')
            if log_callback:
                log_callback(f"共找到 {len(comments)} 条评论")
        except NoSuchElementException:
            if log_callback:
                log_callback("未找到评论元素。")
            comments = []

        for comment in comments:
            try:
                # 获取评论人名称
                username_element = comment.find_element(By.CSS_SELECTOR, 'a.uz1VJwFY')
                username = username_element.text.strip()

                # 获取评论内容
                comment_content_element = comment.find_element(By.CSS_SELECTOR, 'div.C7LroK_h')
                comment_content = comment_content_element.text.strip()

                # 获取位置信息（假设位置信息在特定的 span 中，如 '1周前·上海'，提取城市）
                location_element = comment.find_element(By.CSS_SELECTOR, 'div.fJhvAqos > span')
                location_text = location_element.text.strip()
                # 分割获取城市信息
                if '·' in location_text:
                    _, location = location_text.split('·', 1)
                else:
                    location = "未知"

                data.append({
                    '视频链接': url,
                    '评论人': username,
                    '评论内容': comment_content,
                    '位置': location
                })
            except NoSuchElementException:
                continue
            except StaleElementReferenceException:
                continue
    except Exception as e:
        if log_callback:
            log_callback(f"处理 URL 时发生异常: {e}")
    return data

# 主采集函数
def start_scraping(urls, scroll_times, log_callback=None):
    if not check_paths():
        return

    chrome_options = configure_chrome_options()
    service = Service(executable_path=chrome_driver_path)

    try:
        driver = webdriver.Chrome(service=service, options=chrome_options)
    except Exception as e:
        messagebox.showerror("错误", f"无法启动 Chrome 浏览器: {e}")
        return

    all_data = []

    for idx, url in enumerate(urls, start=1):
        if not url.strip():
            continue
        if log_callback:
            log_callback(f"开始采集第 {idx} 个链接: {url}")
        data = scrape_comments(driver, url.strip(), scroll_times, log_callback=log_callback)
        all_data.extend(data)
        if log_callback:
            log_callback(f"完成采集第 {idx} 个链接: {url}")

    # 保存到 CSV
    if all_data:
        csv_file = os.path.join(desktop_path, "抖音评论采集.csv")
        try:
            df = pd.DataFrame(all_data).drop_duplicates()
            df.to_csv(csv_file, index=False, encoding='utf-8-sig')
            if log_callback:
                log_callback(f"评论已保存到 {csv_file}")
            messagebox.showinfo("完成", f"评论已保存到 {csv_file}")
        except Exception as e:
            messagebox.showerror("错误", f"保存 CSV 文件时发生错误: {e}")
    else:
        if log_callback:
            log_callback("未采集到任何评论。")
        messagebox.showwarning("警告", "未采集到任何评论。")

    # 关闭浏览器
    driver.quit()

# 创建用户界面
def create_gui():
    root = tk.Tk()
    root.title("壬科科技 软件仅用于测试学习，禁止一切非法用途")

    # 设置图标
    if os.path.exists(icon_path):
        try:
            root.iconbitmap(icon_path)
        except Exception as e:
            print(f"设置图标时发生异常: {e}")

    root.geometry("700x700")

    # 标签
    label = tk.Label(root, text="请输入抖音视频链接（每行一个）：")
    label.pack(pady=10)

    # 文本框
    text_box = scrolledtext.ScrolledText(root, width=80, height=15)
    text_box.pack(pady=10)

    # 滑动次数标签和输入框
    scroll_label = tk.Label(root, text="请输入页面下滑次数（默认30）：")
    scroll_label.pack(pady=5)

    scroll_entry = tk.Entry(root, width=10)
    scroll_entry.insert(0, "30")  # 默认值为30
    scroll_entry.pack(pady=5)

    # 日志框
    log_label = tk.Label(root, text="日志输出：")
    log_label.pack(pady=5)
    log_box = scrolledtext.ScrolledText(root, width=80, height=15, state='disabled')
    log_box.pack(pady=5)

    # 记录日志的函数
    def log(message):
        log_box.configure(state='normal')
        log_box.insert(tk.END, message + "\n")
        log_box.configure(state='disabled')
        log_box.see(tk.END)

    # 开始按钮的回调函数
    def on_start():
        urls = text_box.get("1.0", tk.END).strip().split('\n')
        scroll_times_str = scroll_entry.get().strip()
        if not urls or all(not url.strip() for url in urls):
            messagebox.showwarning("警告", "请在文本框中输入至少一个抖音视频链接。")
            return
        try:
            scroll_times = int(scroll_times_str)
            if scroll_times <= 0:
                raise ValueError
        except ValueError:
            messagebox.showwarning("警告", "请输入一个有效的正整数作为下滑次数。")
            return

        start_button.config(state='disabled')
        root.update()

        # 在新线程中运行采集，以避免阻塞 GUI
        def run_scraping():
            start_scraping(urls, scroll_times, log_callback=log)
            start_button.config(state='normal')

        threading.Thread(target=run_scraping).start()

    # 开始按钮
    start_button = tk.Button(root, text="开始采集", command=on_start, width=20, bg="green", fg="white")
    start_button.pack(pady=10)

    root.mainloop()

# 入口点
if __name__ == "__main__":
    create_gui()

本期内容到此就告一段落了

可以为小余点个小心心吗

我们下期见

⁞ つ: •̀ ⌂ •́ : ⁞-︻╦̵̵͇̿̿̿̿══╤─