简单的网络爬虫实现（Jsoup使用）

叁歲伎倆 2022-09-25 05:21 221阅读 0赞

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

下面是我写的一个案例欢迎大家参考：

package crawlerTest;
    import java.io.IOException;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    
    public class JsoupTest { 
        public static void main(String[] args) throws IOException {
            /* * 解析一个字符串 */
            String html = "<html><head><title>First parse</title></head>"
                    + "<body><p>Parsed HTML into a doc.</p></body></html>";
            Document doc = Jsoup.parse(html);
            System.out.println(doc);
            /* * 解析url */
            String url="http://www.tripadvisor.com/SearchForums?q=airbnb&x=18&y=10&pid=34633&s=+";
            Document doc1=Jsoup.connect(url).userAgent("bbb").timeout(50000).get();
            Elements ele=doc1.select("table[class=forumsearchresults]").select("tr[class~=firstpostrow?]");
            for (Element elem:ele) {
                String _id=elem.attr("id");
                String _url="http://www.tripadvisor.com"+elem.select("td[onclick~=setPID?]").select("a").
                        attr("href");
                String _content=elem.select("td[onclick~=setPID?]").select("a").text();
                System.out.println(_id+"===="+_url+"===="+_content);
            }
        }
    }

下图为我输出的结果：  
![这里写图片描述][20160813220611864]

[20160813220611864]: /images/20220718/36ea736147b34742ab250466d64c07b7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，221人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫——Jsoup解析XML

1、XML解析 <model id="1001" name="捷达"> <sales date="2007-01-01" salesNum="14834

迷南。/ 2023年10月13日 20:36/ 0 赞/ 67 阅读

相关网络爬虫——Jsoup解析HTML

目录 1、Jsoup解析HTML 1.1解析静态HTML文件 1.2、解析URL加载的Document

你的名字/ 2023年10月13日 20:08/ 0 赞/ 69 阅读

相关网络爬虫——Jsoup的使用

这里写目录标题 1、Jsoup简介 2、jar包下载 3、请求URL 4、设置头信息 4.1、单

淩亂°似流年/ 2023年10月13日 18:32/ 0 赞/ 42 阅读

相关使用jsoup简单实现爬虫

此为jsoup官网地址：[https://jsoup.org/][https_jsoup.org] 从官网下载jar包后导入eclipse packa

骑猪看日落/ 2023年08月17日 15:38/ 0 赞/ 167 阅读

相关简单的网络爬虫实现（Jsoup使用）

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

叁歲伎倆/ 2022年09月25日 05:21/ 0 赞/ 222 阅读

相关 Jsoup的简单使用

在android上，我们有时候需要获取网站上面的信息，所以就需要解析html文件啦，解析方法可以用Jsoup来完成，方法很简单，总的来说，这个类就之后如下几个很有用的方法：

分手后的思念是犯贱/ 2022年08月18日 11:46/ 0 赞/ 208 阅读

相关【使用JSOUP实现网络爬虫】使用选择器语法来查找元素

问题你想使用类似于CSS或[jQuery][]的语法来查找和操作元素。方法可以使用`Element.select(String selector)` 和 `

朴灿烈づ我的快乐病毒、/ 2022年07月14日 11:25/ 0 赞/ 145 阅读

相关网络爬虫中Jsoup请求url

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

我不是女神ヾ/ 2022年07月12日 04:51/ 0 赞/ 197 阅读

相关使用 jsoup 实现简单的 java 爬虫

本人使用过 htmlpaser 和 jsoup 写过一些爬虫项目。个人感觉 jsoup 比 htmlpaser 好用的不止一点，jsoup 能使用类似 css 选择器的语法

淩亂°似流年/ 2022年03月22日 13:23/ 0 赞/ 322 阅读

相关 java jsoup及jsoup+HtmlUnit简单爬虫

以下是两种爬虫方式 \\ 1.Jsoup简单爬虫 \\ ![在这里插入图片描述][20200729145928191.jpg] 首先是普通jsoup爬取网页

雨点打透心脏的1/2处/ 2021年09月24日 10:52/ 0 赞/ 461 阅读