selenium遇到自定义标签没法爬的时候的解决方法

在selenium的爬取过程中，一些网站会因为缓存问题导致一直访问同一个网页。所以想要当爬取多少条后就清楚下浏览器所有数据。

看了些网上的方法：

其中通过chrome浏览器访问这个网址

chrome://settings/privacy

进行操作清除数据，是我认为好操作的。

但审核元素时发现如下结构。

方法：

让selenium执行js点击的方法来实现

代码如下

  driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("#clearBrowsingData").shadowRoot.querySelector("#subLabel").click()')
    time.sleep(2)
    driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("settings-clear-browsing-data-dialog").shadowRoot.querySelector("#clearBrowsingDataConfirm").click()')
    

休息2秒是因为driver.execute_script是异步的。第一条没执行完，会执行下一条。会出错，为了保证，所以暂停2秒，保证他们隔开。