R语言爬虫实例 初学者自用

那么我们的节点就可以写为：

cooking_style <- start %>% html_nodes("li a")
# 返回结果
#{xml_nodeset (40)}
# [1] <a href="/foods/list?ifood_group_id=1">谷薯主食</a>
# [2] <a href="/foods/list?ifood_group_id=2">肉蛋及制品</a>
# ...

2. html_text()：

这个函数正如我们上面所说，爬的是黑色部分——文本。

那还是薄荷健康的例子，在获取了cooking_style这个具体的元素块了以后，我们对文本进行提取：

cooking_style <- start %>% html_nodes("li a") %>% html_text(trim = TRUE)
# 返回结果
# [1] "谷薯主食"   "肉蛋及制品" "奶类及制品" "蔬果和菌藻" "坚果及制品" "饮料"       "油类及制品"
# [8] "调味品"     "零食及冷饮" "其它"       "扒"         "拔丝"       "炒"         "炖"        
# ...

trim = TRUE能够将文本中的空格进行剔除，这样获得的文本也会更加规范。

3. html_attrs()：

这个函数最常见的用途一定是获得其他网页的url了！而url出现的位置：a href = "巴拉巴拉巴" 就是我们说的【引号中的部分】

在薄荷健康中，如果我们想获取每种食物or烹饪方式的网址，那么：

website <- start %>% html_nodes("div.knowledgeTagTableviewBorder a") %>% 
  html_attr("href")
# 返回结果：
# website
# [1] "/foods/list?ifood_group_id=1"  "/foods/list?ifood_group_id=2"  "/foods/list?ifood_group_id=3" 
# [4] "/foods/list?ifood_group_id=4"  "/foods/list?ifood_group_id=5"  "/foods/list?ifood_group_id=6" 

But 我们一看，这个网址和实际上的不一样嘛！

这就需要我们使用paste()进行网址的补全：

website <- paste("http://m.boohee.com/", website, sep = "")
# 返回结果：
# website
# [1] "http://m.boohee.com//foods/list?ifood_group_id=1" 
# [2] "http://m.boohee.com//foods/list?ifood_group_id=2" 
# ... 

这样就对了！可以访问这些链接了！

while Rvest包中还存在着一些处理乱码、进行行为模拟操作的API。虽然我没有用到，但在这里还是展示一下：
分类编号函数名作用
乱码处理

*_encoding()
1guess_encoding()用来探测文档的编码，方便我们在读入HTML文档时设置正确的编码格式2repair_encoding()修复HTML文档读入后的乱码问题行为模拟（如输入账号、密码等）1set_values()修改表单2submit_form()提交表单3html_session()模拟HTML浏览器会话4jump_to()得到相对链接或绝对链接5follow_link()通过表达式找到当前页面下的链接6session_history()历史记录导航工具

1.2 RSelenium包

Rvest包是帮助你对给定网页直接进行信息爬取的工具，而RSelenium包则是进行“网页自动控制”的工具。它能够自动打开网页，并根据我们的代码指令进行比如说像点击、查询特定信息等活动，帮助我们进行更精确的爬虫操作。

P.S rselenium包是基于JAVA存在的，因此在使用之前需要提前下载安装Java SE Development Kit

加载如下packages:

library(tidyverse)
library(rvest)
# install.packages("RSelenium")
library(RSelenium)
# install.packages("netstat")
library(netstat) # we are going to use the function free_port() in this package

1.2.1 打开浏览器（谷歌chrome）

rs_driver_object <- rsDriver(browser = "chrome",chromever = "106.0.5249.21",verbose = F, port = free_port())
remDr <- rs_driver_object$client

可以通过在Chrome浏览器中键入“chrome://settings/help”或在R中输入binman::list_versions("chromedriver")查看自己的浏览器版本。

1.2.2 网页导航

1. 打开一个网页：

remDr$navigate("http://www.imdb.com/title/tt1856010/reviews")

1. 刷新操作：

remDr$refresh()

1. 得到当前页面网址：

remDr$getCurrentUrl()

这个功能还是需要说一下的。正如我们之前所说，Rvest包与RSelenium包功能不同，所以也不能用一种逻辑使用两种工具包。

我们在对一个网页进行所有selenium操作后，需要注意，此时的url和之前是不同的，会显示很多条件。

这时，我们需要使用remDr$getCurrentUrl()语句得到当前的url，然后使用read_html()读入其HTML文件，进行爬取工作。

1. 前进、回撤动作

remDr$goBack()
remDr$goForward()

1.2.3 定位HTML元素

我们可以使用id, name, class 或css selector、xpath等定位方式寻找我们需要的元素。

使用语句findElement()即可。第一个参数为定位方式，第二个参数为元素名称。

# id方式
loadmore <- remDr$findElement(using = "id", value = "load-more-trigger")
# css方式
loadmore <- remDr$findElement(using = "css", "#load-more-trigger")

1.2.4 将操作传递给元素

1. 点击操作click

（1） 直接单击操作：clickElement()

loadmore$clickElement()

（2） 如果要控制点击的左右键：click(buttonId=0/1/2)

click(buttonId = 0) 

0单击左键，1单击滚动条，2单击右键。

（3） 双击：doubleclick()

doubleclick(buttonId = 0)

1. 模仿鼠标的一些其他操作，如使用滚轮滑到页面最下端

bottom <- remDr$findElement("css", "body")
bottom$sendKeysToElement(list(key = "end"))  #“滚动到最下端”

sendKeysToElement()功能主要用于在指定元素中输入文本。一般是先使用findelement()定位到该元素，再使用sendKeysToElement()进行内容与操作的传递。sendKeysToElement()的参数必须为list形式。

1. 传递文本信息

query <- remDr$findElement(using = "css", "#suggestion-search")
query$sendKeysToElement(list("The Godfather", key = "enter"))
# 输入文本the godfather， 然后回车搜索

1.2.5 检索页面源代码

正如前面getCurrentUrl()步骤所说，在进行完一系列操作后，我们需要获得此时的url，然后才能进行接下来的爬取工作。

page_source <- remDr$getPageSource()[[1]]
remDr$getCurrentUrl()
page_source %>% read_html()

2. 爬取IMDb电影网的数据

（1）安装相应的package

library(tidyverse)
library(rvest)
library(xml2)
library(RSelenium)
library(netstat)

（2）从电影网首页出发，获取其HTML文件

# 使用read_html()下载IMDB首页的html文件
webpage <- read_html("https://www.imdb.com/chart/moviemeter?sort=rk,asc&mode=simple&page=1")
webpage

（3）使用html_nodes() %>% html_attrs()，获取排行榜中各电影主页的链接

# 从首页信息出发，提取100部电影首页的网址
website <- html_nodes(webpage, "td.titleColumn a") %>% html_attr("href")
# 使用paste()将url补充完整
website_title <- paste("http://www.imdb.com",website,sep = "")

由于提取的URL缺少部分内容，我们使用字符串拼接paste()函数将其补全

paste(..., sep = " ", collapse = NULL)

① ...：需要拼接的文本

② sep：使用什么符号将文本分隔开，default = 空格

③ collapse：若不指定值（default = NULL），则结果返回由sep中指定符号连接而成的字符型向量；若指定值（如“，”），则将字符型向量间通过collapse的值连接形成一个字符串

（4） 由于各电影主页中包含多种“评论”的链接，我们需要在各电影首页提取user reviews的网址

review_page <- c()
for (i in 1:100){
  all_page <- read_html(website_title[i])
  reviews <- html_nodes(all_page, ".isReview") %>% html_attr("href")
  # 上一步会返回user/critic/metascore 三个网址，在这里只保留返回的第一个结果
  review_page <- c(review_page, reviews[1])
}
# 补充url
review_title <- paste("http://www.imdb.com",review_page,sep = "")
review_title

·定义review_page()为一个空的向量，在每次读取URL后将新的内容补充进去。

·使用paste补充网址，将结果存储到review_title变量中。

（5）使用RSelenium对网页进行操作

# 连接chrome浏览器
rs_driver_object <- rsDriver(browser = "chrome", chromever = "106.0.5249.61", 
                             verbose = F, port = free_port())
remDr <- rs_driver_object$client
# total用于存储所有页面的评论与评分信息
total <- data.frame() 

在100部电影的user reviews页面，我们需要勾选“隐藏剧透”的单选框，并通过点击load more键，获取100条评论及其评分。

① 对于review_title中的网址，我们需要将其转换为character格式，然后再进行navigate导航。

② 隐藏剧透：使用findElement进行定位，通过clickElement点击单选框

③ 加载更多：

A. 在不点击的情况下，一个界面提供25条评论；

B. 确认该电影的评论数量：使用read_html()读取界面HTML文档，定位至评论数量。由于返回的文本格式为“xxx Reviews”，我们使用字符串截取substr()函数进行文本提取。

substr(s, first, last)

① s：需要处理的字符串

② first：起始位置（包含在内）

③ last：结束位置（包含在内）

【nchar：确认字符串长度】

我们需要将上一步的评论数量转化为数值型，以便进行下一步判断。如果评论数量上千会出现分位符，我们使用替换字符gsub()函数将其消掉。
gsub("目标字符", "替换字符", 对象)
然后使用if else语句进行判断。

（6） 爬取100条评论：

将Rselenium操作后的网址保存，再使用read_html读取其HTML文件。将评论区的一整块保存到all变量中。

对于该电影的所有评论（seq_along(all)），如果评分存在，则读取其评分与评论内容。

判断评分是否存在的代码为：length != 0 ，如果不存在则是空值，其长度为0，也就不进行接下来的操作。

使用rbind()函数，将每一次读取的评分与评论内容补充到dataframe中。

（record用于存储某一部电影的内容；total用于存储全部内容）

for (i in 1:100){
  url <- as.character(review_title[i])
  remDr$navigate(url)
  # remDr$refresh()
  
  # 隐藏剧透
  hide <- remDr$findElement(using = "xpath", value = "//*[@id='main']/section/div[2]/div[1]/form/div/div[1]/label/span[1]")
  hide$clickElement()
  
  # 加载更多
  thispage <- read_html(url)
  numreview <- c()
    # 读取当前页面的评论数量，用于分析如何进行点击操作
  numreview <- html_nodes(thispage,"#main > section > div.lister > div.header > div > span") %>%
    html_text(trim = TRUE) %>% substr(1,nchar(.)-8) 
  numreview <- as.numeric(gsub(",","", numreview))
  
  if (numreview >= 25){
    loadmore <- remDr$findElement(using = "id", value = "load-more-trigger")
    loadmore$clickElement()# 一次会出现25条评论，点4次即可获得100条评论
    Sys.sleep(2)           # 由于网速限制，中间需要有间隔时间暂停
    loadmore$clickElement() 
    Sys.sleep(2)
    loadmore$clickElement()
    Sys.sleep(2)
    loadmore$clickElement()
  } else {
    Sys.sleep(1)
  }
  
  # 获取前面步骤已完成后的网址，用于后续爬取工作
  page_source <- remDr$getPageSource()[[1]]
  remDr$getCurrentUrl()
  page_source <- read_html(page_source)
  
  # all中存储了每一个评论块的xml文件
  all <- html_nodes(page_source, "div.review-container")
  
  # records用于存储当前页面的评论与评分信息
  records <- data.frame()
  
  # 爬取当前页面的评论与评分
  for (j in seq_along(all)){
    #设置判断：避免评分空值
    if (html_nodes(all[j], "span.rating-other-user-rating") %>% length != 0){
      nodes <- html_nodes(all[j], "span.rating-other-user-rating") %>% 
        html_text(trim = TRUE) %>% substr(1,nchar(.)-3)
      notes <- html_nodes(all[j], "div.text.show-more__control")%>% html_text(trim = TRUE)
    }
    # 设置一个新的dataframe，用于存储每一次新爬取的评论与评分信息
    new_record <- data.frame(RANKS = nodes, REVIEWS = notes)
    # 将新的信息组合到records中。
    records <- rbind(records, new_record)
  }
  # 每一次循环的信息保存到total的数据框中
  total <- rbind(total, records)
}
# 保存爬取的所有文件
write_excel_csv(total, "111.csv")

在这里使用write_excel_csv()函数保存内容。用了其他的保存文件函数都出现了乱码...设置encoding = UTF8也不行，只有这个函数是好用的。如果出现乱码大家也可以自行百度，多试试几个函数。

这样，我们就爬取了100部电影及其评论文本&评论评分！