Selenium在C#中爬虫应用

1.nuget包引用

    在项目中主要引用文件Selenium.Support、Selenium.WebDriver两个外部依赖包

2.项目架构

    Winform、.net 6.0 长期支持版本

3.依赖浏览器工具包

    Edge浏览器依赖于msedgedriver.exe，该文件包与本地电脑或服务器上的浏览器版本须一致。可通过浏览器中“设置”中“关于Microsoft Edge”查看到对应浏览器版本号。可在Microsoft Edge WebDriver |Microsoft Edge 开发人员 该网址中下载对应本驱动

4.技术路线实现

4.1 项目概述

    项目目的主要为自动爬取CSDN某个专题下的博客内容，本文章主要以获取https://blog.csdn.net/lsgo_myp 内容为例。项目中实现了浏览器模拟打开、模拟鼠标滚动以及获取网络请求后解析数据请求等功能。

4.2 模拟浏览器打开

    模拟浏览器打开主要通过以下代码即可完成浏览器的模拟打开，并能够获取到HTML完整源码。

                var service = EdgeDriverService.CreateDefaultService(@".", "msedgedriver.exe");
                EdgeOptions options = new();
                options.AddArguments("--test-type", "--ignore-certificate-errors");
                options.SetLoggingPreference("performance", OpenQA.Selenium.LogLevel.Info); //启用performance日志，等级为Info即可
                options.PerformanceLoggingPreferences = new OpenQA.Selenium.Chromium.ChromiumPerformanceLoggingPreferences
                {
                    IsCollectingNetworkEvents = true
                };
                driver = new OpenQA.Selenium.Edge.EdgeDriver(service, options,