springboot集成webmagic和selenium，并部署到linux（问题坑）

springboot集成webmagic和selenium，并部署到linux（问题坑）

首先参考两个源代码

黄亿华 / webmagic
NAMEniubi / webmagic-selenium

通过以上源码可以基本了解怎么使用

spring boot集成

将Pipeline、PageProcessor、Spider进行拆分为不同类，拆分后添加@Component使其交给spring管理，使用时进行@Autowired注入

找不到org.openqa.selenium.remote.AbstractDriverOptions的类文件

集成后有时会出现找不到类的情况，是因为spring boot自带<selenium.version>版本号太老导致，需要手动添加maven依赖，这里我是用的是4.8.3版本，如下所示：（缺少哪个添加哪个即可）

        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-remote-driver</artifactId>
            <version>4.8.3</version>
        </dependency>

代理ip–更换一个网页同时更换一个代理ip

添加代理Ip池，说实话怎么添加ip在网上找到了，但是怎么实现上述目标没有找到，所以只好使用笨方法—在更换网页后手动更改当前系统代理

            System.setProperty("proxyType", "4");
            System.setProperty("proxyHost", ip);
            System.setProperty("proxyPort", 端口);
            System.setProperty("proxySet", "true");

有时候需要将代理取消，换回原有代理，执行清理系统代理

        System.clearProperty("proxyHost");
        System.clearProperty("proxyPort");
        System.clearProperty("proxyType");
        System.clearProperty("proxyType");

放置位置在==webDriver.get(request.getUrl());==之前即可

代理ip网址

当前我在用的两个免费代理网站（不过有条件的话还是建议买代理服务，免费的。。。你们懂的）
快代理
66免费代理

部署linux

谷歌浏览器

• 配置 yum 源

在 /etc/yum.repos.d/ 目录下新建文件 google-chrome.repo

vi /etc/yum.repos.d/google-chrome.repo

写入以下内容

[google-chrome]name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub    

• 安装 google chrome 浏览器

 yum -y install google-chrome-stable

Google 官方源可能在中国无法使用，导致安装失败或者在国内无法更新，可以添加以下参数来安装

yum -y install google-chrome-stable --nogpgcheck

• 位置 安装后位置在 /usr/bin/google-chrome

下载谷歌浏览器驱动网址(注意和浏览器的版本一致性)

chromedriver
下载linux版本，上传到服务器并解压，复制到/usr/bin下

unzip chromedriver_linux64.zip
cp chromedriver /usr/bin

查看版本

google-chrome --version
chromedriver --version

验证代理Ip是否可用

//无效的ip 返回true 有效的ip返回falsestaticbooleanifUselessBaidu(String ip,String port){String[] split = ip.split(":");URL url =null;try{`在这里插入代码片`
            url =newURL("http://www.baidu.com");InetSocketAddress addr =newInetSocketAddress(ip,Integer.parseInt(port));Proxy proxy =newProxy(Proxy.Type.HTTP, addr);InputStream in =null;try{URLConnection conn = url.openConnection(proxy);
                conn.setConnectTimeout(2000);
                in = conn.getInputStream();}catch(Exception e){returntrue;}String s =IOUtils.toString(in);if(s.indexOf("baidu")>0){returnfalse;}returntrue;}catch(Exception e){returntrue;}}

staticList<String> arrs =newArrayList<String>(){{add("http://ip.3322.net/");add("http://icanhazip.com/");}};//无效的ip 返回true 有效的ip返回falsestaticbooleanifUseless(String ip,String port){URL url =null;try{
            url =newURL(arrs.get(newRandom().nextInt(arrs.size())));InetSocketAddress addr =newInetSocketAddress(ip,Integer.parseInt(port));Proxy proxy =newProxy(Proxy.Type.HTTP, addr);InputStream in =null;try{URLConnection conn = url.openConnection(proxy);
                conn.setConnectTimeout(2000);
                in = conn.getInputStream();}catch(Exception e){returntrue;}String resultIp =IOUtils.toString(in);//            System.out.println(ip + "----" + resultIp);if(resultIp.trim().equals(ip)){returnfalse;}else{returntrue;}}catch(Exception e){returntrue;}}