JAVA Jsoup爬取网页图片下载到本地

妖狐艹你老母 2023-07-11 15:13 24阅读 0赞

添加jsoup依赖

<dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.9.2</version>
    </dependency>

package im.bide.utils;
    
    import org.jsoup.Connection;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.io.*;
    import java.net.MalformedURLException;
    import java.net.URL;
    import java.net.URLConnection;
    import java.net.URLEncoder;
    
    public class FetchImgsUtil { 
        /** * 下载图片到指定目录 *对爬虫感兴趣的 作者QQ1023732997（vx同号） * @param filePath 文件路径 * @param imgUrl 图片URL */
        public static void downImages(String filePath, String imgUrl) { 
            // 若指定文件夹没有，则先创建
            File dir = new File(filePath);
            if (!dir.exists()) { 
                dir.mkdirs();
            }
            // 截取图片文件名
            String fileName = imgUrl.substring(imgUrl.lastIndexOf('/') + 1, imgUrl.length());
    
            try { 
                // 文件名里面可能有中文或者空格，所以这里要进行处理。但空格又会被URLEncoder转义为加号
                String urlTail = URLEncoder.encode(fileName, "UTF-8");
                // 因此要将加号转化为UTF-8格式的%20
                imgUrl = imgUrl.substring(0, imgUrl.lastIndexOf('/') + 1) + urlTail.replaceAll("\\+", "\\%20");
    
            } catch (UnsupportedEncodingException e) { 
                e.printStackTrace();
            }
            // 写出的路径
            File file = new File(filePath + File.separator + fileName);
    
            try { 
                // 获取图片URL
                URL url = new URL(imgUrl);
                // 获得连接
                URLConnection connection = url.openConnection();
                // 设置10秒的相应时间
                connection.setConnectTimeout(10 * 1000);
                // 获得输入流
                InputStream in = connection.getInputStream();
                // 获得输出流
                BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));
                // 构建缓冲区
                byte[] buf = new byte[1024];
                int size;
                // 写入到文件
                while (-1 != (size = in.read(buf))) { 
                    out.write(buf, 0, size);
                }
                out.close();
                in.close();
            } catch (MalformedURLException e) { 
                e.printStackTrace();
            } catch (IOException e) { 
                e.printStackTrace();
            }
    
        }
    
        public static void main(String[] args) { 
            // 利用Jsoup获得连接
            Connection connect = Jsoup.connect("https://www.csdn.net/");
            try { 
                // 得到Document对象
                Document document = connect.get();
                // 查找所有img标签
                Elements imgs = document.getElementsByTag("img");
                System.out.println("共检测到下列图片URL：");
                System.out.println("开始下载");
                // 遍历img标签并获得src的属性
                for (Element element : imgs) { 
                    //获取每个img标签URL "abs:"表示绝对路径
                    String imgSrc = element.attr("abs:src");
                    // 打印URL
                    System.out.println(imgSrc);
                    //下载图片到本地
                    FetchImgsUtil.downImages("D:\\jsop\\img\\taobao", imgSrc);
                }
                System.out.println("下载完成");
            } catch (IOException e) { 
                e.printStackTrace();
            }
        }
    }