抓取数据会导致页面加载失败而无法进行, 解决方案:
1.首先将需要抓取的网站添加到信任, 火狐操作
菜单->设置->隐私与安全->证书
将 "查询 OCSP 响应服务器,以确认证书当前是否有效(Q)"勾去除
打开"查看证书"->"服务器" 添加例外, 将网站域名填入
这样火狐可以正常打开,不提示证书问题
2.接下来设置Selenium, 让它加载这些设置, 自动抓取时才会不提示
菜单->设置->更多排障信息
找到"配置文件夹", 把它拷贝出来,然后初始化配置指定到这个目录
FirefoxProfile firefoxProfile = new FirefoxProfile(new File("C:\\7abeqvd7.default-release"));
DesiredCapabilities capabilities = DesiredCapabilities.firefox();
capabilities.setCapability(FirefoxDriver.PROFILE, firefoxProfile);
System.setProperty("webdriver.gecko.driver", "c:\\geckodriver.exe");
driver = new FirefoxDriver(capabilities);
接下来就可以顺利抓取了
版权归原作者 Bing_GoGo 所有, 如有侵权,请联系我们删除。