【数据采集平台】教程-列表页采集

爱被打了一巴掌 2022-03-17 09:20 463阅读 0赞

# 使用教程——列表页采集 #

## 当前版本 ##

测试版

## 列表页采集 ##

### 功能 ###

采集列表类型页面。列表类型是指：一个页面中只包含多条采集信息的页面，例如豆瓣影评列表：[https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new\_score&status=P][https_movie.douban.com_subject_26266893_comments_start_0_limit_20_sort_new_score_status_P] ， 这样的页面往往包含了分页信息，需要进行分页采集。

### 使用 ###

打开“配置中心” > “新建爬虫” > “列表页类型” 菜单，进入爬虫配置界面：

![2YRmUc1.png][]

#### 基本配置： ####

<table> 
 <thead> 
  <tr> 
   <th>项</th> 
   <th>是否必填</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>爬虫名字</td> 
   <td>是</td> 
   <td>任意字符，不可与以有的爬虫名称重复</td> 
   <td>豆瓣影评采集</td> 
  </tr> 
  <tr> 
   <td>采集源</td> 
   <td>是</td> 
   <td>采集的网站名称</td> 
   <td>豆瓣</td> 
  </tr> 
  <tr> 
   <td>源页面</td> 
   <td>是</td> 
   <td>要采集的源链接，必须为规范的url，且必须包含一个页变量</td> 
   <td><a href="https://movie.douban.com/subject/26266893/comments?start=%7Bpage%7D&amp;limit=20&amp;sort=new_score&amp;status=P" rel="nofollow">https://movie.douban.com/subject/26266893/comments?start={page}&amp;limit=20&amp;sort=new_score&amp;status=P</a></td> 
  </tr> 
  <tr> 
   <td>起始页</td> 
   <td>是</td> 
   <td>起始页码</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>结束页</td> 
   <td>是</td> 
   <td>结束页码</td> 
   <td>10</td> 
  </tr> 
  <tr> 
   <td>页增量</td> 
   <td>是</td> 
   <td>页码的增量，默认为1，针对于某些以非页数参数分页的，而是用数据起始位置分页的情况，例如豆瓣影评列表就是如此</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>线程数</td> 
   <td>是</td> 
   <td>一个爬虫所启用的线程数，最大值为3</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>允许JS</td> 
   <td>否</td> 
   <td>启用JS可以采集动态网页，但是采集速度将会变慢，默认不启用</td> 
   <td>不启用</td> 
  </tr> 
  <tr> 
   <td>描述</td> 
   <td>否</td> 
   <td>任意值，对爬虫的表述</td> 
   <td>这是一个微信文章爬虫</td> 
  </tr> 
 </tbody> 
</table>

基本配置完成后，点击“下一步”进行采集规则配置。

**页变量说明：**

页变量是为了自动分页采集而要求的，页变量必需为“\{变量名\}”的形式，变量名可以任意，系统将自动替换变量为页码。

举例：

《流浪的地球》豆瓣影评列表第二页的URL为：[https://movie.douban.com/subject/26266893/comments?start=20&limit=20&sort=new\_score&status=P][https_movie.douban.com_subject_26266893_comments_start_20_limit_20_sort_new_score_status_P] ，这里的start=20即为分页参数，20表示当前页的第一条数据的偏移量为20。设置页变量为page，则符合规范的url如下：[https://movie.douban.com/subject/26266893/comments?start=\{page\}&limit=20&sort=new\_score&status=P][https_movie.douban.com_subject_26266893_comments_start_page_limit_20_sort_new_score_status_P]

**页增量说明：**

页增量是针对于某些以非页数参数分页的，而是用数据起始位置分页的情况。例如上边举例的

#### 配置规则： ####

<table> 
 <thead> 
  <tr> 
   <th>项</th> 
   <th>是否必填</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>字段code</td> 
   <td>是</td> 
   <td>采集字段唯一标识，同一个爬虫中的字段code不可重复</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>字段标题</td> 
   <td>是</td> 
   <td>采集字段唯的名称</td> 
   <td>文章标题</td> 
  </tr> 
  <tr> 
   <td>采集规则</td> 
   <td>是</td> 
   <td>采集规则，使用css选择器，很重要。</td> 
   <td>.div &gt; .title</td> 
  </tr> 
  <tr> 
   <td>采集类型</td> 
   <td>是</td> 
   <td>TEXT：采集文本内容，HTML：采集HTML内容，ATTR：采集属性值，当选择ATTR时，下面的属性值必填</td> 
   <td>TEXT</td> 
  </tr> 
  <tr> 
   <td>属性值</td> 
   <td>否</td> 
   <td>当采集类型为ATTR时必填，其他情况不填</td> 
   <td>href</td> 
  </tr> 
  <tr> 
   <td>非空字段</td> 
   <td>否</td> 
   <td>是否为非空字段，若是，则当该字段为空时，数据将不会被保存</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>去重字段</td> 
   <td>否</td> 
   <td>是否是去重字段，若是则会更具该字段进行去重，重复的数据将不会被保存</td> 
   <td>否</td> 
  </tr> 
 </tbody> 
</table>

#### 配置完成 ####

采集规则配置完成后，点击“下一步”，选择“保存”或者“启动爬虫”。“保存”将不会启动爬虫，需要在“数据采集” > “状态管理” 中找到刚配置的爬虫，点击“启动”。

[https_movie.douban.com_subject_26266893_comments_start_0_limit_20_sort_new_score_status_P]: https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P
[2YRmUc1.png]: https://i.imgur.com/2YRmUc1.png
[https_movie.douban.com_subject_26266893_comments_start_20_limit_20_sort_new_score_status_P]: https://movie.douban.com/subject/26266893/comments?start=20&limit=20&sort=new_score&status=P
[https_movie.douban.com_subject_26266893_comments_start_page_limit_20_sort_new_score_status_P]: https://movie.douban.com/subject/26266893/comments?start=%7Bpage%7D&limit=20&sort=new_score&status=P