Java 实例 - 网页抓取

灰太狼 2020-05-23 15:21 829阅读 0赞

# Java 实例 - 网页抓取

[![Java 实例](/images/1590082124592.gif "Java 实例") Java 实例](/queryGroupArticle/520085549564345/522011538506046)

以下实例演示了如何使用 net.URL 类的 URL() 构造函数来抓取网页：

## Main.java 文件

```java
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.InputStreamReader;
import java.net.URL;
 
public class Main {
   public static void main(String[] args) 
   throws Exception {
      URL url = new URL("http://www.dandelioncloud.cn");
      BufferedReader reader = new BufferedReader
      (new InputStreamReader(url.openStream()));
      BufferedWriter writer = new BufferedWriter
      (new FileWriter("data.html"));
      String line;
      while ((line = reader.readLine()) != null) {
         System.out.println(line);
         writer.write(line);
         writer.newLine();
      }
      reader.close();
      writer.close();
   }
}
```

以上代码运行输出结果为（网页的源代码，存储在当前目录下的 data.html 文件中）：

```shell
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"/> <meta http-equiv="X-UA-Compatible" content="IE=11,IE=10,IE=9,IE=8"/>……
```

[![Java 实例](/images/1590082124592.gif "Java 实例") Java 实例](/queryGroupArticle/520085549564345/522011538506046)

发表评论取消回复

表情：

评论列表（有 0 条评论，829人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】网页抓取实例之淘宝商品信息抓取

之前我们已经说过网页抓取的相关内容上次我们是以亚马逊某网页的产品为例抓取价格、品牌、型号、样式等 ![图片][0da7473d5807d054c62f8d8983b8

小鱼儿/ 2024年02月19日 11:23/ 0 赞/ 83 阅读

相关 JAVA抓取网站网页内容

最近在用JAVA研究下爬网技术,呵呵，入了个门,把自己的心得和大家分享下以下提供二种方法，一种是用apache提供的包．另一种是用JAVA自带的. 代码如下:

忘是亡心i/ 2024年02月17日 21:06/ 0 赞/ 74 阅读

相关 Python爬虫抓取指定网页图片代码实例

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接：[好看站][Link 2] http://www.nrso.net

た入场券/ 2022年12月21日 11:58/ 0 赞/ 267 阅读

相关 Java正则表达式（一）、抓取网页email地址实例

实现思路： 1、使用java.net.URL对象，绑定网络上某一个网页的地址 2、通过java.net.URL对象的openConnection()方法获得一个HttpCo

小咪咪/ 2022年06月10日 05:07/ 0 赞/ 208 阅读

相关 java抓取网页数据，登录之后抓取数据。

非常感谢https://www.cnblogs.com/puqiuxiaomao/p/4037918.html 网络爬虫技术学习，更多知识请访问[https://www.it

电玩女神/ 2022年06月01日 06:27/ 0 赞/ 378 阅读

相关 wget 抓取网页

前言如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢?常规的我们肯定是要去下载一个软件下来使用啦，可怜这两个系统总是找不到相应的工具，这时wge

冷不防/ 2022年05月18日 07:26/ 0 赞/ 277 阅读

相关 java webmagic 抓取静态网页资源,抓取动态网页资源

[webmagicJava爬虫框架][webmagicJava] [fastjson 阿里巴巴提供的 json 转为对象的快捷包，里面有下载jar包的地址][fastjso

- 日理万妓/ 2022年04月22日 03:20/ 0 赞/ 275 阅读

相关 java抓取网页内容

/\ \ 爬取网页信息 \/ private static String pickData(String url) \{

阳光穿透心脏的1/2处/ 2022年04月10日 02:51/ 0 赞/ 361 阅读

相关 java htmlunit 抓取网页数据

WebClient webClient=new WebClient(BrowserVersion.CHROME); webClient.

以你之姓@/ 2021年11月10日 07:06/ 0 赞/ 451 阅读

相关 Java 实例 - 网页抓取

Java 实例 - 网页抓取，以下实例演示了如何使用 net.URL 类的 URL() 构造函数来抓取网页：

灰太狼/ 2020年05月23日 15:21/ 0 赞/ 830 阅读