【C# - 爬虫】使用Selenium实现爬虫，获取近七天天气信息（包含完整代码）

目录

前言

• 提示：爬虫本身并不违法，所有爬虫都应遵守Robots协议，虽然Robots协议并不是强制性要求，但由此可能引发法律纠纷等问题。
• 如非必要，我们在使用爬虫过程中，也应该尽量避免大量，快速反复请求网站，造成网站资源占用，甚至造成网站服务器的宕机，请文明使用爬虫;
• 需要了解更多Robots协议详情请参考：Robots协议
• 想要查看网站Robots协议，可以在网站域名后添加/robots.txt；例如CSDN的Robots协议就是：https://www.csdn.net/robots.txt

一、Selenium简介

• Selenium开始并不是用于爬虫，而是一款自动化测试工具，它可以直接运行在浏览器中，模拟用户操作，支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Google Chrome，Opera，Edge等。
• 这个工具的主要功能包括：测试与浏览器的兼容性(测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上)。测试系统功能(创建回归测试检验软件功能和用户需求)。
• 支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。

二、浏览器驱动

1.浏览器驱动参考

浏览器支持的操作系统维护者下载问题追溯Chromium/ChromeWindows/macOS/LinuxGoogle下载IssuesFirefoxWindows/macOS/LinuxMozilla下载IssuesEdgeWindows/macOSMicrosoft下载IssuesInternet WindowsWindows/macOS/LinuxSelenium Project下载IssuesSafarimacOSHigh Sierra and newer Apple内置Issues
注意: Opera驱动程序不支持w3c语法, 因此我们建议使用chromedriver来处理Opera. 请参见Opera浏览器的代码示例

下载版本以自己安装的浏览器版本为主，我这里以 Windows10 Chrome 103.0.5060.134为例

2.Windows下载Chrome驱动

三、代码实现

1.新建控制台项目WeatherWebCrawler

2.选择.NET 6.0

.NET 6.0和.NET Core 3.1最大区别是Program.cs中Main函数的取消，该代码在NET Core 3.1中也可使用

3.安装NuGet包

命令：

Install-Package Selenium.WebDriver -Version 4.3.0

4.将下载好的驱动放到项目生成目录下

没有目录的把项目生成下就有了，注意不是项目根目录，而是项目生成的目录下；

或者知道自己放在哪个目录，代码中driverServicePath改成文件夹路径也行，路径只到文件夹，不要包含驱动文件

5.编写代码

网站地址

首先拿到页面的url，根据需求选择想要城市的url，当前也可以拿到全部城市，用xml或者配置文件可动态选择，这里就不过多展开，等有时间后面会单独出一篇文章详解，代码中是以我当前所在地为例。

• ①选择自己的需求城市
• ②选择七天
• ③复制网站地址 代码实现打开浏览器，并进入网站

usingOpenQA.Selenium.Chrome;//驱动路径（注意不要包含驱动文件）string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(),"chromedriver_win32");//创建驱动服务ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);//实例化浏览器驱动ChromeDriver driver =newChromeDriver(service);//页面地址string url ="http://www.weather.com.cn/weather/101280601.shtml";//打开页面
driver.Navigate().GoToUrl(url);

运行成功就可以看到程序自己打开浏览器了，并且有一行标识：

Chrome 正受到自动测试软件的控制。

接着找到七天天气这块元素

提示：class中带有空格的，只能用By.CssSelector获取元素

这里需要一点点前端知识，需要了解的同学可以前往：

CSS选择器

扩展知识

不会前端的可以直接获取想要的元素的XPath：

• ①在浏览器按F12打开开发者工具，点击带有鼠标箭头样的图标
• ②鼠标在页面上选择自己需要的元素，并点击
• ③在Elements中鼠标右键选中元素的html代码
• ④选择Copy
• ⑤选择Copy XPath
• 代码中使用By.XPath("XPath")，粘贴复制的XPath路径就ok了 获取七天天气

//获取七天天气ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));

获取每一天天气信息

Console.Out.WriteLineAsync("\n********************************************************");
Console.Out.WriteLineAsync("\t\t近七天天气");//输出每天天气信息foreach(var item in sky){//天气信息中的日期string date = item.FindElement(By.TagName("h1")).Text;//天气信息中的天气描述string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;//天气信息中的气温string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;//天气信息中的风向string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");//天气信息中的风力var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
    Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述：{wea}\n气温：{tem}\n风向：{win}\n风力：{wins}");}
Console.Out.WriteLineAsync("********************************************************");

可以看到控制台输出了七天天气信息，但是输出了很多没用得信息，看着很乱

在平时开发过程中，我们其实没必要每次都打开浏览器，这速度非常缓慢，我们可以设置浏览器属性，想了解其他的设置项可以前往Chrome设置项

//浏览器设置项ChromeOptions options =newChromeOptions();
options.AddArgument("--headless");//无头模式（不打开浏览器）
options.AddArgument("--no-sandbox");//禁用沙箱（Linux下我试了只有加上该属性才能启动成功）
options.AddArgument("--incognito");//隐身模式（无痕模式）
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存
options.AddArgument("--log-level=3");//控制台舒服信息非常多，日志级别设置高点只会输出失败的日志信息，日志的最低级别（INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3）//实例化浏览器驱动ChromeDriver driver =newChromeDriver(service, options);

再次启动，浏览器没有打开了，而且可以看到控制台日志信息少了很多输出信息，这样看着舒服多了

四、完整代码

usingOpenQA.Selenium;usingOpenQA.Selenium.Chrome;usingSystem.Collections.ObjectModel;#region 实例浏览器驱动//驱动路径（注意不要包含驱动文件）string driverServicePath = Path.Combine(Directory.GetCurrentDirectory(),"chromedriver_win32");//创建驱动服务ChromeDriverService service = ChromeDriverService.CreateDefaultService(driverServicePath);//浏览器设置项ChromeOptions options =newChromeOptions();
options.AddArgument("--headless");//无头模式（不打开浏览器）
options.AddArgument("--no-sandbox");//禁用沙箱
options.AddArgument("--incognito");//隐身模式（无痕模式）
options.AddArgument("--disable-gpu");//禁用GPU加速
options.AddArgument("--disable-gpu-program-cache");//禁用GPU程序缓存//options.AddArgument("--log-level=3");//日志的最低级别（INFO = 0, WARNING = 1, LOG_ERROR = 2, LOG_FATAL = 3）//实例化浏览器驱动ChromeDriver driver =newChromeDriver(service, options);#endregion//获取天气Weather();

Console.ReadKey();#region 网站地址 http://www.weather.com.cn/voidWeather(){#region 获取网页信息//页面地址string url ="http://www.weather.com.cn/weather/101280601.shtml";//打开页面
    driver.Navigate().GoToUrl(url);//获取七天天气ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.CssSelector("li[class^='sky skyid'"));//获取七天天气(By.XPath)//ReadOnlyCollection<IWebElement> sky = driver.FindElements(By.XPath("//*[@id='7d']/ul/li"));#endregion#region 打印结果
    Console.Out.WriteLineAsync("\n********************************************************");
    Console.Out.WriteLineAsync("\t\t近七天天气");foreach(var item in sky){//天气信息中的日期string date = item.FindElement(By.TagName("h1")).Text;//天气信息中的天气描述string wea = item.FindElement(By.CssSelector("p[class='wea']")).Text;//天气信息中的气温string tem = item.FindElement(By.CssSelector("p[class='tem']")).Text;//天气信息中的风向string win = item.FindElement(By.CssSelector("p[class='win']>em>span:nth-child(1)")).GetAttribute("title");//天气信息中的风力var wins = item.FindElement(By.CssSelector("p[class='win']>i")).Text;
        Console.Out.WriteLineAsync($"\n{date}天气信息:\n描述：{wea}\n气温：{tem}\n风向：{win}\n风力：{wins}");}
    Console.Out.WriteLineAsync("********************************************************");#endregion}#endregion

总结

好了，以上就是今天要讲的内容，本文仅仅介绍了Selenium用于爬虫的简单使用，而Selenium提供了很多其他强大功能，想要继续深入学习Selenium的同学可以前往官网学习：selenium。
后面我也会陆续更新其他的爬虫小项目，感谢大家支持！