为Heritrix定制自己的QueueAssignmentPolicy

忘是亡心i 2022-02-20 12:29 237阅读 0赞

####  ####

#### **Heritrix**使用了Berkeley DB来构建链接队列。这些队列被置放于BdbMultipleWorkQueues中时，总是先给予一个Key，然后将那些Key值相同的链接放在一起， 成为一个队列，也就是一个Queue。在**Heritrix**中，为每个队列赋上Key值的策略，也就是它的queue-assignment-policy。 ####

####  ####

#### **Heritrix**默认使用的queue-assignment-policy是**HostnameQueueAssignmentPolicy**，一个继承于**QueueAssignmentPolicy**抽象类的队列分配策略。顾名思义，它是以链接的Host名称为Key值来解决这个问题的。换句话也就是说，相同Host名称的所有URL都会被置放于同一个队列中间。 ####

####  ####

#### **HostnameQueueAssignmentPolicy**有一个问题，就是它对于某个单独网站的网页抓取，会造成有一个队列的长度非常长，而其它队列则几乎都处于空闲的情况，这使得在多线程抓取的情况下，效率得不到提高。 ####

####  ####

#### 为了解决这个问题，我们可以定制自己的**QueueAssignmentPolicy**。下面以ELFHash的哈希散列算法定制一个名为**ELFHashQueueAssignmentPolicy**的队列分配策略，它也是继承于**QueueAssignmentPolicy的**。 ####

#### package my;      import org.archive.crawler.datamodel.CandidateURI;   import org.archive.crawler.framework.CrawlController;   import org.archive.crawler.frontier.QueueAssignmentPolicy;      public class ELFHashQueueAssignmentPolicy extends QueueAssignmentPolicy \{      @Override   public String getClassKey(CrawlController controller, CandidateURI cauri) \{   return this.ELFHash(cauri.getUURI().toString(), 50) + "";   \}      public int ELFHash(String str, int number) \{   int hash = 0;   long x = 0l;   char\[\] array = str.toCharArray();   for (int i = 0; i < array.length; i++) \{   hash = (hash << 4) + array\[i\];   if ((x = (hash & 0xF0000000L)) != 0) \{   hash ^= (x >> 24);   hash &= ~x;   \}   \}   int result = (hash & 0x7FFFFFFF) % number;   return result;   \}   \} ####

####  ####

#### 接下来就是配置问题了。 ####

#### **第一步：**到**org.archive.crawler.frontier.AbstractFrontier**这个类下找到**public AbstractFrontier(String name, String description)**这个方法，在里面找到： ####

#### String queueStr = System.getProperty(AbstractFrontier.class.getName() +   "." + ATTR\_QUEUE\_ASSIGNMENT\_POLICY,   HostnameQueueAssignmentPolicy.class.getName() + " " +   IPQueueAssignmentPolicy.class.getName() + " " +   BucketQueueAssignmentPolicy.class.getName() + " " +   SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +   TopmostAssignedSurtQueueAssignmentPolicy.class.getName()); ####

#### 将我们自己写的**ELFHashQueueAssignmentPolicy类**添加进去，即变成： ####

#### String queueStr = System.getProperty(AbstractFrontier.class.getName() +   "." + ATTR\_QUEUE\_ASSIGNMENT\_POLICY,    ELFHashQueueAssignmentPolicy.class.getName() + " " +   //HostnameQueueAssignmentPolicy.class.getName() + " " +   IPQueueAssignmentPolicy.class.getName() + " " +   BucketQueueAssignmentPolicy.class.getName() + " " +   SurtAuthorityQueueAssignmentPolicy.class.getName() + " " +   TopmostAssignedSurtQueueAssignmentPolicy.class.getName()); ####

####  ####

#### **第二步：**到**org.archive.crawler.frontier.AdaptiveRevisitFrontier**下找到 ####

#### protected final static String DEFAULT\_QUEUE\_ASSIGNMENT\_POLICY = HostnameQueueAssignmentPolicy.class.getName(); ####

#### 将其改为： ####

#### protected final static String DEFAULT\_QUEUE\_ASSIGNMENT\_POLICY = ELFHashQueueAssignmentPolicy.class.getName(); ####

#### 然后继续往后找到public AdaptiveRevisitFrontier(String name, String description) 方法，对其中的一段： ####

#### 修改为： ####

####  ####

#### **第三步：** ####

#### 到**heritrix.properties**文件下找到 ####

#### org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \\   org.archive.crawler.frontier.HostnameQueueAssignmentPolicy \\   org.archive.crawler.frontier.IPQueueAssignmentPolicy \\   org.archive.crawler.frontier.BucketQueueAssignmentPolicy \\   org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \\   org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy ####

#### 将我们的**ELFHashQueueAssignmentPolicy**类添加进去，即变成这样： ####

#### org.archive.crawler.frontier.AbstractFrontier.queue-assignment-policy = \\   my.ELFHashQueueAssignmentPolicy \\   org.archive.crawler.frontier.IPQueueAssignmentPolicy \\   org.archive.crawler.frontier.BucketQueueAssignmentPolicy \\   org.archive.crawler.frontier.SurtAuthorityQueueAssignmentPolicy \\   org.archive.crawler.frontier.TopmostAssignedSurtQueueAssignmentPolicy ####

####  ####

#### 这样，当我们使用Heritrix抓取网页的时候，Heritrix就变成默认使用**ELFHashQueueAssignmentPolicy**来分配连接队列了。经过验证，爬取的效率的确能得到了很大的提高。 ####

####  ####

#### 最后，不得不提的是，通过以上修改，有时还是会出问题，表现在是整个Job已经完成了，但只爬到几KB的样子，而mirror目录根本没有生成出来。上网搜了一下，有网友这样建议： ####

#### －－－－－－－－－－－－－－－－－－－－引用部分－－－－－－－－－－－－－－－－－－－－－－－－－   (1) 配置下在Setting里的frontier项中的max retries，改成100(有可能是入口过少)   (2) 将url地址改成ip地址(看过log，有时候会有很多404error，那我直接换成ip地址试下，果然好使，哈哈) ####

#### －－－－－－－－－－－－－－－－－－－－引用部分－－－－－－－－－－－－－－－－－－－－－－－－ ####

####  ####

#### 希望哪位大虾知道原因能告诉我一声，呵呵。。。 ####

####  ####