网络爬虫中Jsoup请求url

我不是女神ヾ 2022-07-12 04:51 196阅读 0赞

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

下面是我写的一个案例欢迎大家参考：

import java.io.IOException;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    /* * author:合肥工业大学 管院学院 钱洋 *1563178220@qq.com *博客地址:http://blog.csdn.net/qy20115549/ */
    public class JsoupTest { 
        public static void main(String[] args) throws IOException {
            /* * 解析一个字符串 */
            String html = "First parse"
                    + "Parsed HTML into a doc.";
            Document doc = Jsoup.parse(html);
            System.out.println(doc);
            /* * 解析url */
            String url="http://www.tripadvisor.com/SearchForums?q=airbnb&x=18&y=10&pid=34633&s=+";
            Document doc1=Jsoup.connect(url).userAgent("bbb").timeout(50000).get();
            Elements ele=doc1.select("table[class=forumsearchresults]").select("tr[class~=firstpostrow?]");
            for (Element elem:ele) {
                String _id=elem.attr("id");
                String _url="http://www.tripadvisor.com"+elem.select("td[onclick~=setPID?]").select("a").
                        attr("href");
                String _content=elem.select("td[onclick~=setPID?]").select("a").text();
                System.out.println(_id+"===="+_url+"===="+_content);
            }
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，196人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫——Jsoup解析XML

1、XML解析 <model id="1001" name="捷达"> <sales date="2007-01-01" salesNum="14834

迷南。/ 2023年10月13日 20:36/ 0 赞/ 67 阅读

相关网络爬虫——Jsoup解析HTML

目录 1、Jsoup解析HTML 1.1解析静态HTML文件 1.2、解析URL加载的Document

你的名字/ 2023年10月13日 20:08/ 0 赞/ 69 阅读

相关网络爬虫——Jsoup的使用

这里写目录标题 1、Jsoup简介 2、jar包下载 3、请求URL 4、设置头信息 4.1、单

淩亂°似流年/ 2023年10月13日 18:32/ 0 赞/ 42 阅读

相关简单的网络爬虫实现（Jsoup使用）

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

叁歲伎倆/ 2022年09月25日 05:21/ 0 赞/ 221 阅读

相关 Jsoup详解，Jsoup.connect(“url”).get()

Jsoup是一款Java的HTML解析器，主要用来对HTML解析。[官网![icon-default.png_t_L892][]https://jsoup.org/][icon

超、凢脫俗/ 2022年09月13日 04:16/ 0 赞/ 366 阅读

相关网络爬虫中Jsoup请求url

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取

我不是女神ヾ/ 2022年07月12日 04:51/ 0 赞/ 197 阅读

相关 Jsoup+HtmlUnit 爬虫

最近学习java的爬虫，爬取双色球网站的内容，刚开始只用了Jsoup，可以爬取到全部的内容，还以为自己的爬虫技术OK了；结果双色球网站更新了，就爬取不到了，只能继续学习；因

ゞ浴缸里的玫瑰/ 2022年06月01日 07:55/ 0 赞/ 269 阅读

相关 HttpRequestUtil用于URL请求(网络爬虫)

此工具用于网络爬虫中的URL请求，来自于本人写的书《网络数据采集技术–Java网络爬虫入门与实战》。 package com.util; import jav

àì夳堔傛蜴生んèń/ 2022年04月24日 21:28/ 0 赞/ 208 阅读

相关 Jsoup请求网络

前言使用了很久的jsonp了，把项目中用到的几个方法总结下吧  <dependency> <groupId

迈不过友情╰/ 2022年03月26日 18:08/ 0 赞/ 229 阅读

相关爬虫Jsoup

爬虫Jsoup 简介导入jar 简单示例简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

旧城等待，/ 2021年10月06日 03:06/ 0 赞/ 554 阅读