Selenium不打开浏览器采爬取数据 Java

灰太狼 2022-05-21 00:43 443阅读 0赞

# Selenium #

Selenium工具，是数据采集利器，尤其是对js的操作。相对于jsoup、httpclient工具，其最大的不同就是通过操作浏览器的方式获取数据，类似于用户点击，移动鼠标等。比如，说最近想开发采集Quora([https://www.quora.com/][https_www.quora.com])的小软件，发现这个网页都是js操作，数据查看，使用的鼠标滚动的方式，类似的网站还有国内的网易新闻等([http://news.163.com/][http_news.163.com])。针对这些网站，其最好的方式是使用Selenium调用浏览器采集。  
关于Selenium的安装，博主已在这篇博客中介绍了[https://blog.csdn.net/qy20115549/article/details/77456473][https_blog.csdn.net_qy20115549_article_details_77456473]。

# java使用Selenium #

Selenium可以直接打开火狐浏览器、谷歌浏览器以及IE浏览器，进而获取页面的内容，同时也可以进行表单操作等，关于java使用Selenium调出浏览器的案例程序，读者可参考我之前的博客([https://blog.csdn.net/qy20115549/article/details/77915024][https_blog.csdn.net_qy20115549_article_details_77915024])。

这里主要介绍在不打开浏览器 GUI的情况在浏览器中执行我们的Selenium脚本。在这里，以火狐为案例，我的版本为56.0（64位）。以下为案例程序：

FirefoxBinary firefoxBinary = new FirefoxBinary();
            firefoxBinary.addCommandLineOptions("--headless");
            System.setProperty("webdriver.gecko.driver", "chrome\\geckodriver.exe");
            FirefoxOptions firefoxOptions = new FirefoxOptions();
            firefoxOptions.setBinary(firefoxBinary);
            FirefoxDriver driver = new FirefoxDriver(firefoxOptions);
            driver.get("http://www.baidu.com");
            String title = driver.getTitle();
            System.out.println(title);
            driver.quit();

程序的运行结果如下:

![这里写图片描述][70]

[https_www.quora.com]: https://www.quora.com/
[http_news.163.com]: http://news.163.com/
[https_blog.csdn.net_qy20115549_article_details_77456473]: https://blog.csdn.net/qy20115549/article/details/77456473
[https_blog.csdn.net_qy20115549_article_details_77915024]: https://blog.csdn.net/qy20115549/article/details/77915024
[70]: /images/20220521/07068d01c9174a92822de0692f3a3d04.png