扩展和定制Heritrix之Extractor

我会带着你远行 2022-06-13 03:15 196阅读 0赞

转至：http://www.07net01.com/zhishi/474980.html

### 10.3 扩展和定制Heritrix ###

在前面两节中，向读者介绍了Heritrix的启动、创建任务、抓取[网页][Link 1]、组件结构。但是，读者应该也可以明显的看出，如果不用Heritrix抓取和分析网页的行为进行一定的控制，它是无法达到要求的。

对Heritrix的行为进行控制，是要建立在对其架构充分了解的基础之上的，因此，本节的内容完全是基于上一节中所讨论的基础。

### 10.3.1 向Heritrix中添加自己的Extractor ###

很明显，Heritrix内嵌的 Extractor并不能够很好的完成所需要的工作，这不是说它不够强大，而是因为在解析一个网页时，常常有特定的需要。比如，可能只想抓取某种格式的链 接，或是抓取某一特定格式中的文本片断。Heritrix所提供的[大众][Link 2]化的Extractor只能够将所有信息全部抓取下来。在这种情况下，就无法控制 Heritrix到底该抓哪些内容，不该抓哪些内容，进而造成镜象信息太复杂，不好建立索引。

以下就使用一个实例，来讲解该如何定制和使用Extractor。这个实例其实很简单，主要功能就是抓取所有在Sohu的新闻主页上出现的新闻，并且URL格式如下所示。

http://news.sohu.com/20061122/n246553333.shtml

（1）分析一下这个URL可以知道，其中的主机部分是http://news.sohu.com，这是搜狐新闻的域名，“20061122”应该表示的是新闻的日期，而最后的“n246553333.shtml”应该是一个新闻的编号，该编号全部以“n”打头。

（2）有了这样的分析，就可以根据URL的特点，来定出一个正则[表达式][Link 3]，凡是当链接符合该正则表达式，就认为它是一个潜在的值得抓取的链接，将其收藏，以待抓取。正则表达式如下：

http://news.sohu.com/\[\\\\d\]+/n\[\\\\d\]+.shtml

（3）事实上所有的Extractor均继承自org.archive.crawler.extractor.Extractor这个抽象基类，在它的内部实现了innerProcess方法，以下便是innerProcess的实现：

[代码][Link 4]10.10

public void innerProcess(CrawlURI curi) \{

try \{

/\*

\* 处理链接

\*/

extract(curi);

\} catch (NullPointerException npe) \{

curi.addAnnotation("err=" + npe.getClass().getName());

curi.addLocalizedError(getName(), npe, "");

logger.log(Level.WARNING, getName() + ": NullPointerException", npe);

\} catch (StackOverflowError soe) \{

curi.addAnnotation("err=" + soe.getClass().getName());

curi.addLocalizedError(getName(), soe, "");

logger.log(Level.WARNING, getName() + ": StackOverflowError", soe);

\} catch ([Java][].nio.charset.CoderMalfunctionError cme) \{

curi.addAnnotation("err=" + cme.getClass().getName());

curi.addLocalizedError(getName(), cme, "");

logger.log(Level.WARNING, getName() + ": CoderMalfunctionError", cme);

这个方法中，大部分代码都用于处理在解析过程中 发生的各种异常和日志写入，不过，它为所有的Extractor定义了新的一个[接口][Link 5]extract(CrawlURI)，也就是说，所有的 Extractor继承自它后，只需实现extract方法就可以了。以下是扩展Extractor时要做的几件事：

（1）写一个类，继承Extractor的基类。

（2）在构造函数中，调用父类的构造函数，以形成完整的家族对象。

（3）继承extract(curi)方法。

为了实现抓取news.sohu.com首页上所有新闻的链接，所[开发][Link 4]的Extractor的完整[源代码][Link 6]如下所示。

代码10.11

package org.archive.crawler.extractor;  
  
import java.io.IOException;  
import java.util.regex.Matcher;  
import java.util.regex.Pattern;  
  
import org.apache.commons.httpclient.URIException;  
import org.archive.crawler.datamodel.CrawlURI;  
import org.archive.io.ReplayCharSequence;  
import org.archive.util.HttpRecorder;  
  
/\*\*  
 \* 抽取符合条件的url链接放入队列中  
 \* @author ruanjun  
 \*  
 \*/  
public class ExtractorStock extends Extractor \{  
  
    /\*\*  
     \*  
     \*/  
    private static final long serialVersionUID = 4662407160135997584L;  
      
    /\*\*  
     \* 无参构造函数  
     \* @param name  
     \*/  
    public ExtractorStock(String name) \{  
        super(name, "stock news extractor");  
    \}  
  
    /\*\*  
     \* 构造函数  
     \* @param name  
     \* @param description  
     \*/  
    public ExtractorStock(String name, String description) \{  
        super(name, description);  
    \}  
  
//    <a href="http://finance.stockstar.com/SS2017070200000214.shtml">  
      
    // 第一个正则式，用于匹配新闻的格式  
    public static final String PATTERN\_STOCK\_NEWS = "http://finance.stockstar.com/SS(.\*)+.shtml";  
    // 第二个正则式，用于匹配所有的<a href="http://finance.stockstar.com/SS\*.shtml">  
    public static final String PATTERN\_A\_LINK ="<a(.\*)href\\\\s\*=\\\\s\*(\\"(\[^\\"\]\*)\\"|\\'(\[^\\'\]\*)\\'|\[^\\\\s\])(.\*)>";  
//    public static final String PATTERN\_A\_LINK ="<a(.\*)href\\\\s\*=\\\\s\*(\\"(\[^\\"\]\*)\\"|\[^\\\\s\])(.\*)>";  
      
    /\*\*  
     \*  @param context 页面的内容  
     \*/  
    @Override  
    protected void extract(CrawlURI curi) \{  
        String url = "";  
        try \{  
            //获取HttpRecorder  
            HttpRecorder hr = curi.getHttpRecorder();  
            if (hr == null) \{  
                throw new IOException("HttpRecorder is null");  
            \}  
            ReplayCharSequence cs = hr.getReplayCharSequence();  
            if (cs == null) \{  
                return ;  
            \}  
            String context = cs.toString();  
            //匹配url  
            Pattern pattern = Pattern.compile(PATTERN\_A\_LINK, Pattern.CASE\_INSENSITIVE);  
            Matcher matcher = pattern.matcher(context);  
            while (matcher.find()) \{  
                url = matcher.group(2);  
                //如果url中有双引号替换掉  
                url = url.replace("\\"", "");  
                //如果url中有单引号替换掉  
                url = url.replace("\\'", "");  
//                System.out.println(url);  
                if (url.matches(PATTERN\_STOCK\_NEWS)) \{  
                    System.out.println(url);  
                    curi.createAndAddLinkRelativeToBase(url, context, Link.NAVLINK\_HOP);  
                \}  
            \}  
        \} catch (URIException e) \{  
            // TODO Auto-generated catch block  
            e.printStackTrace();  
        \} catch (IOException e) \{  
            // TODO Auto-generated catch block  
            e.printStackTrace();  
        \}  
    \}  
  
  
\}

在上面代码的extract()方法中：

（1）首先是将Fetcher所获得的链接的HTML响应取得，并转成字符串，这样，才有可能在后面对页面中的链接做处理。

（2）从页面内容中，使用正则式取出所有链接的内容。判断链接是否符合Sohu的新闻格式，倘若符合，则调用addLinkFromString()方法，来将这个链接加入到某个队列缓存中，以备后续的处理。

在Extractor类开发完毕后，如果使用WebUI的方式启动Heritrix，并让它出现在下拉选项中，则需要修改Eclipse工程中的modules目录下的Processor.options文件，如图10-55所示。

![扩充和定制Heritrix][Heritrix]

图10-55 修改Processor.options文件

打开Processor.options文件可以看到，所有在WebUI中设置[处理器][Link 7]链时，页面上的下拉列表中的数据都保存在了其中，为了加入我们开发的SohuNewsExtractor，只需在其中合适的位置上加入一行，内容如下所示：

org.archive.crawler.extractor.ExtractorStock|ExtractorStock

接下来，再次启动Heritrix，创建一个任务，进入处理器链设置的页面，就可以看到自己开发的Extractor了，如图10-56所示。

![扩充和定制Heritrix][Heritrix 1]

图10-56 新加入的Extractor已经在下拉菜单中显示出来

选择后，单击“Add”按钮，就可以将其加入到队列中，如图10-57所示。

![扩充和定制Heritrix][Heritrix 2]

图10-57 已经加入到处理器队列中

需要注意的是，一定要将其置于 ExtractorHTTP的后面，以保证Heritrix能够先行处理HTTP协议中的相关内容。与加入自己定制的Extractor的过程类似，开发 者们也可以定制其他几种处理器。同样，只需要在modules目录下找到相应的.options文件，然后将类全名加入即可。

[Link 1]: http://www.07net01.com/tags-%E7%BD%91%E9%A1%B5-0.html
[Link 2]: http://www.qiche887.com/tags-%E5%A4%A7%E4%BC%97-0.html
[Link 3]: http://www.07net01.com/tags-%E8%A1%A8%E8%BE%BE%E5%BC%8F-0.html
[Link 4]: http://www.07net01.com/program/
[Java]: http://www.07net01.com/tags-Java-0.html
[Link 5]: http://www.07net01.com/tags-%E6%8E%A5%E5%8F%A3-0.html
[Link 6]: http://www.07net01.com/tags-%E6%BA%90%E4%BB%A3%E7%A0%81-0.html
[Heritrix]: http://img4.07net01.com/upload/images/2015/02/15/1423936150933081.jpg
[Link 7]: http://www.07net01.com/tags-%E5%A4%84%E7%90%86%E5%99%A8-0.html
[Heritrix 1]: http://img4.07net01.com/upload/images/2015/02/15/1423936150933082.jpg
[Heritrix 2]: http://img4.07net01.com/upload/images/2015/02/15/1423936150933083.jpg