近年来，随着互联网的普及，网络爬虫逐渐成为了信息采集的主要手段之一，然而，常规的爬虫技术不稳定、难以维护，市面上的纯web网页爬虫也只能在静态页面上进行操作。而php结合selenium可达到动态爬虫的效果，具有稳定性高、数据采集全面等优点，被广泛应用于爬虫开发中。本文将介绍如何使用php和selenium快速构建自己的网络爬虫系统。
一、Selenium和ChromeDriver的安装
Selenium是一个自动化测试工具，可以对Web应用程序进行自动化测试，其中将浏览器与操作系统分离式地处理，无强制插入代码实现页面渲染。ChromeDriver则是Selenium中调用Chrome浏览器的驱动程序，可以使Selenium直接操作Chrome，从而实现动态页面的爬取。
首先需要在本地安装Chrome浏览器和PHP环境。接着，我们需要安装相应版本的Selenium和ChromeDriver，在命令行中输入以下代码即可安装：
1
composer
require
facebook/webdriver
然后将ChromeDriver二进制文件（根据自己的本地Chrome版本下载相应版本的ChromeDrive）置于系统Path变量环境中，代码如下：
1
2
3
$webdriver
= FacebookWebDriverRemoteRemoteWebDriver::create(
'http://localhost:9515'
, FacebookWebDriverChromeChromeOptions::
class
);
二、构建Selenium和ChromeDriver的封装类
Selenium封装类主要用来维护Selenium和ChromeDriver，避免重复创建、销毁，代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
class
Selenium
{
private
static
$driver
;
private
static
$selenium
;
public
static
function
getInstance()
{
if
(null === self::
$selenium
) {
$options
=
new
ChromeOptions();
$options
->addArguments([
'--no-sandbox'
,
'--disable-extensions'
,
'--headless'
,
'--disable-gpu'
]);
self::
$driver
= RemoteWebDriver::create(
'http://localhost:9515'
,
DesiredCapabilities::chrome()->setCapability(
ChromeOptions::CAPABILITY,
$options
)
);
self::
$selenium
=
new
self();
}
return
self::
$selenium
;
}
public
function
__destruct()
{
self::
$driver
->quit();
self::
$selenium
= null;
}
public
function
getDriver()
{
return
self::
$driver
;
}
}
注意，参数中的ChromeOptions主要是为了在无GUI（图形化界面）下仍能稳定运行，--no-sandbox参数是为了防止在linux系统下运行时报错。
三、创建网页源码解析类
爬虫系统的核心在于解析非静态页面，这里需要创建源码解析类，使用正则表达式或XPath表达式来定位和获取目标节点信息。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
class
PageParser
{
private
$pageSource
;
public
function
__construct(string
$pageSource
)
{
$this
->pageSource =
$pageSource
;
}
public
function
parse(string
$expression
,
$list
= false)
{
if
(
$list
) {
return
$this
->parseList(
$expression
);
}
return
$this
->parseSingle(
$expression
);
}
private
function
parseList(string
$expression
)
{
$domXpath
=
new
DOMXPath(@DOMDocument::loadHTML(
$this
->pageSource));
$items
=
$domXpath
->query(
$expression
);
$result
= [];
foreach
(
$items
as
$item
) {
array_push
(
$result
,trim(
$item
->nodeValue));
}
return
$result
;
}
private
function
parseSingle(string
$expression
)
{
$domXpath
=
new
DOMXPath(@DOMDocument::loadHTML(
$this
->pageSource));
$item
=
$domXpath
->query(
$expression
)->item(0);
if
(
$item
) {
return
trim(
$item
->nodeValue);
}
return
''
;
}
}
这里主要用到了DOMXPath类和DOMDocument类来解析页面中的HTML节点，分别通过parseList和parseSingle方法来定位和获取多个和一个目标节点的内容。
四、创建爬虫类
最后，我们需要构建一个专门爬取页面内容的爬虫类，代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
class
Spider
{
private
$selenium
;
private
$url
;
public
function
__construct(
$url
)
{
$this
->selenium = Selenium::getInstance();
$this
->url =
$url
;
$this
->selenium->getDriver()->get(
$url
);
sleep(1);
}
public
function
__destruct()
{
$this
->selenium->getDriver()->close();
$this
->selenium = null;
}
public
function
getContent(
$expression
,
$list
= false)
{
$pageSource
=
$this
->selenium->getDriver()->getPageSource();
$parser
=
new
PageParser(
$pageSource
);
return
$parser
->parse(
$expression
,
$list
);
}
}
该类的getContent方法接收两个参数，一个是目标节点的XPath表达式，另一个是是否获取多个内容。 getModelContent函数请求URL并解析节点来获取所需内容，该函数获取结束后关闭浏览器进程。
五、使用示例
最后，我们使用实际例子来说明如何使用这个爬虫类。假设我们需要从一个拥有多个a标签的网页上，爬取a标签中的href属性和文本信息。我们可以通过以下代码来实现：
1
2
3
4
5
6
7
8
$spider
=
new
Spider(
'https://www.example.com'
);
$aTags
=
$spider
->getContent(
'//a'
, true);
foreach
(
$aTags
as
$a
) {
$href
=
$a
->getAttribute(
'href'
);
$text
=
$a
->nodeValue;
echo
"
$href
->
$text
";
}
在以上代码中，首先使用Spider类获取页面源码，然后通过XPath表达式获取多个a标签的节点信息，最后通过getAttribute和nodeValue方法获取每个a标签的href属性和文本。
六、总结
综上所述，本文通过介绍如何使用PHP和Selenium构建网页爬虫系统，并通过实际示例说明如何获取页面中的节点信息，该爬虫具有稳定性高、数据采集全面等优点，具有一定的应用价值。但同时需要注意的是，爬取数据时需要注意合法性和道德性，并遵守相关法律法规。
版权归原作者 IT数据小能手 所有， 如有侵权，请联系我们删除。