Java爬虫之多线程下载IMDB中Top250电影的图片

深碍√TFBOYSˉ_ 2022-05-28 10:51 287阅读 0赞

## 介绍 ##

在博客：[Java爬虫之下载IMDB中Top250电影的图片][Java_IMDB_Top250]中我们实现了利用Java爬虫来下载图片，但是效率不算太高。本次分享将在此基础上，利用多线程，提高程序运行的效率。

## 思路 ##

本次分享建立在博客[Java爬虫之下载IMDB中Top250电影的图片][Java_IMDB_Top250]上，总体的爬虫思路没有变化，只是在此基础上引入多线程。多线程的思路如下：

*  Java的每个任务类必须实现Runnable接口，因此，我们将新建ImageDownload类来实现Runnable接口。ImageDownload类的构造函数的参数有: url:网站的网址， dir: 图片储存目录。并在run()方法中实现将网页中的图片下载到本地。
 *  在主函数中，调用ImageDownload类，利用多线程实现爬虫下载，提高运行效率。

## 程序 ##

ImageDownload类的代码完整如下：

package wikiScrape;
    
    import java.io.File;
    import java.io.IOException;
    import java.net.MalformedURLException;
    import java.net.URL;
    import java.net.URLConnection;
    
    import org.apache.commons.io.FileUtils;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.select.Elements;
    
    /* ImageDownload类实现Runnable接口 * ImageDownload类的构造参数： url:网址的网址, dir: 图片存储目录 * ImageDownload类实现了将网页中的图片下载到本地 */
    
    public class ImageDownload implements Runnable{ 
        private String url;
        private String dir;
    
        public ImageDownload(String url, String dir) {
            this.url = url;
            this.dir = dir;
        }
    
        // run()函数: 将网页中的电影图片下载到本地
        @Override
        public void run(){
    
            // 利用URL解析网址
            URL urlObj = null;
            try{
                urlObj = new URL(url);
    
            }
            catch(MalformedURLException e){
                System.out.println("The url was malformed!");
            }
    
            // URL连接
            URLConnection urlCon = null;
            try{
                // 打开URL连接
                urlCon = urlObj.openConnection(); 
                // 将HTML内容解析成UTF-8格式
                Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
                // 提取电影图片所在的HTML代码块
                Elements elems = doc.getElementsByClass("ss-3 clear");
                Elements pic_block = elems.first().getElementsByTag("a");
    
                for(int i=0; i<pic_block.size(); i++) {
                    // 提取电影图片的url, name
                    String picture_url = pic_block.get(i).getElementsByTag("img").attr("src");
                    String picture_name = pic_block.get(i).getElementsByClass("bb").text()+".jpg";
                    // 用download()函数将电影图片下载到本地
                    download(picture_url, dir, picture_name);
                    System.out.println("第"+(i+1)+"张图片下载完毕！");
                }
    
            }
            catch(IOException e){
                System.out.println("There was an error connecting to the URL");
            }
    
        }
    
        // download()函数利用图片的url将图片下载到本地
        public static void download(String url, String dir, String filename) {  
            try { 
    
                /* httpurl: 图片的url * dirfile: 图片的储存目录 */
                URL httpurl = new URL(url);  
                File dirfile = new File(dir); 
    
                // 如果图片储存的目录不存在，则新建该目录
                if (!dirfile.exists()) {    
                    dirfile.mkdirs();  
                }  
    
                // 利用FileUtils.copyURLToFile()实现图片下载
                FileUtils.copyURLToFile(httpurl, new File(dir+filename));  
            } 
            catch(Exception e) {  
                e.printStackTrace();  
            } 
        }
    
    }

主函数ImageScraper.java的代码如下：

package wikiScrape;
    
    /* 本爬虫利用多线程爬取http://www.imdb.cn/IMDB250/中Top250的图片 * 先利用Jsoup解析得到该网页中的图片的url * 然后利用FileUtils.copyURLToFile()函数将图片下载到本地 */
    
    import wikiScrape.ImageDownload;
    
    import java.util.ArrayList;
    import java.util.concurrent.*;
    import java.util.Date;
    
    public class ImageScraper {
    
        public static void main(String[] args) {
            Date d1 = new Date();
    
            System.out.println("爬虫开始......");
    
            // 爬取的网址列表，一共十个网页
            ArrayList<String> urls = new ArrayList<String>();
            urls.add("http://www.imdb.cn/IMDB250/");
            for(int i=2; i<=10; i++) {
                urls.add("http://www.imdb.cn/imdb250/"+ Integer.toString(i));
            }
    
            String dir = "E://log/";  // 图片储存目录
    
            // 利用多线程下载每个页面中的图片
            ExecutorService executor = Executors.newCachedThreadPool();
    
            // Create and launch 100 threads
            for(int i=0; i<10; i++) {
                executor.execute(new ImageDownload(urls.get(i), dir));
            }
    
            executor.shutdown();
    
            // wait until all tasks are finished
            while(!executor.isTerminated()) {
            }
    
            System.out.println("程序运行完毕！");
            Date d2 = new Date();
    
            // 计算程序的运行时间，并输出
            long seconds = (d2.getTime()-d1.getTime())/1000;
            System.out.println("一共用时： "+seconds+"秒.");
    
        }
    
    }

## 运行 ##

运行上述主函数，结果如下：

![程序运行结果][SouthEast]  
  
  一共也是下载了244张图片，运行结果与博客： [Java爬虫之下载IMDB中Top250电影的图片][Java_IMDB_Top250]中的结果一模一样，但是时间却少了一半！可见利用多线程来写爬虫效率相当高！  
  本次分享到此结束，欢迎大家交流~~

[Java_IMDB_Top250]: https://segmentfault.com/a/1190000014169120
[SouthEast]: /images/20220528/b872ded0c2c24cbf9854ccaa9d2a2f5b.png