爬虫Jsoup

旧城等待， 2021-10-06 03:06 554阅读 0赞

### 爬虫Jsoup ###

*  简介
 *  导入jar
 *  简单示例

# 简介 #

Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

# 导入jar #

下载地址： [https://pan.baidu.com/s/1vKS3WmcvgS5Ul9DUbLIA7Q][https_pan.baidu.com_s_1vKS3WmcvgS5Ul9DUbLIA7Q] 提取码：cpuf

<dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.8.3</version>
    </dependency>

# 简单示例 #

/**
     * 
     * 抓取博客链接
     * 
     * @author vander
     * @date 2018年12月25日
     */
    public class JsoupTest {
    	
    	private String Agent = "Mozilla/5.0 (Windows NT 6.1;WOW64; rv:42.0) Gecko/20100101 Firefox/42.0";
    
    	@Test
    	public void testPLXC() throws Exception {
    		String startPage = "https://blog.csdn.net/qq_15764943/article/list/1";
    		Document document = Jsoup.connect(startPage).userAgent(Agent).get();
    		Elements select = document.getElementsByClass("article-item-box");
    		for (Element element : select) {
    			Elements a = element.getElementsByTag("h4").get(0).getElementsByTag("a");
    			String url = a.get(0).text();
    			System.out.println("博客名称:" + url);
    			System.out.println("博客链接:" + a.attr("href"));
    		}
    	}
    
    }

[https_pan.baidu.com_s_1vKS3WmcvgS5Ul9DUbLIA7Q]: https://pan.baidu.com/s/1vKS3WmcvgS5Ul9DUbLIA7Q

发表评论取消回复

表情：

评论列表（有 0 条评论，554人围观）

还没有评论，来说两句吧...

相关阅读

相关 java爬虫-jsoup

文章目录内容简介主要功能内容简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供

男娘i/ 2023年02月11日 15:30/ 0 赞/ 254 阅读

相关 Java爬虫框架 jsoup

目录依赖使用示例 jsoup是java的一个网页内容解析工具，可以用来写爬虫。依赖 <

男娘i/ 2022年12月11日 06:29/ 0 赞/ 218 阅读

相关使用jsoup爬虫抓取页面

httpclient 和jsoup都可以实现模拟浏览器抓取页面，前者发送请求，后者解析htm标签比较强大。本例直接使用jsoup实现请求和解析。 package co

骑猪看日落/ 2022年06月07日 13:59/ 0 赞/ 333 阅读

相关 Jsoup+HtmlUnit 爬虫

最近学习java的爬虫，爬取双色球网站的内容，刚开始只用了Jsoup，可以爬取到全部的内容，还以为自己的爬虫技术OK了；结果双色球网站更新了，就爬取不到了，只能继续学习；因

ゞ浴缸里的玫瑰/ 2022年06月01日 07:55/ 0 赞/ 269 阅读

相关 java使用jsoup爬虫入门

一、maven项目里pom添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <a

左手的ㄟ右手/ 2022年05月24日 10:13/ 0 赞/ 297 阅读

相关 jsoup解析html 爬虫规则

jsoup简介 jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQ

╰半夏微凉°/ 2022年05月08日 05:52/ 0 赞/ 325 阅读

相关爬虫之Jsoup

Jsoup简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQu

「爱情、让人受尽委屈。」/ 2022年03月26日 15:41/ 0 赞/ 324 阅读

相关爬虫Jsoup

爬虫Jsoup 简介导入jar 简单示例简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

旧城等待，/ 2021年10月06日 03:06/ 0 赞/ 555 阅读

相关 java jsoup及jsoup+HtmlUnit简单爬虫

以下是两种爬虫方式 \\ 1.Jsoup简单爬虫 \\ ![在这里插入图片描述][20200729145928191.jpg] 首先是普通jsoup爬取网页

雨点打透心脏的1/2处/ 2021年09月24日 10:52/ 0 赞/ 462 阅读

相关 HttpClient +JSOUP 设置代理爬虫

package com.fh.job.util; import com.alibaba.fastjson.JSONArray; import

比眉伴天荒/ 2021年06月24日 15:58/ 0 赞/ 663 阅读