《自己动手写爬虫》笔记

骑猪看日落 2022-05-28 00:47 333阅读 0赞

《自己动手写爬虫》这本书总体介绍了整个网络爬虫由浅入深的知识体系，将爬虫中每个部分分割开来具体的细讲，非常适合新手来入门，由于之前只知道使用爬虫框架，所以一遇到一些错误或者想调整一些爬架内容就无从下手，所以还是将一些基础知识弄明白之后再去使用框架就会得心应手了。书中关于当前的分布式爬虫的内容感觉有点少，感觉随着数据爬取的增大，这部分的使用频率应该会越来越多，还需要多向这个方面了解下。代码的部分占据了很多的内容，完全可以把代码放到GitHub上，估计是撑页数吧。总体来说还是非常值得学习的一本书。

> 下面记录一下其中的知识点，以后再深入学习的时候再逐一完善其中的细节。

*   *  一：爬虫全面剖析
     *  二：分布式爬虫
     *  三：爬虫中的细节问题
     *  四：处理HTML页面
     *  五：非HTML正文抽取
     *  六：多媒体信息抽取
     *  七：网页去噪
     *  八：分析Web图
     *  九：去除重复文档
     *  十：网页分类

--------------------

## 一：爬虫全面剖析 ##

1、get、post请求中URL长度参数的相关知识  
2、在万维网中，一个网页的实际深度最多能达到17层  
3、了解宽度优先爬虫和带偏好爬虫  
4、内存数据库 – Berkeley DB | 开源软件 – Heritrix  
5、在对网址进行内存存储的时候一般使用MD5进行压缩  
6、对已爬取过的URL使用布隆过滤算法，建立Visited表

**一个简单的爬虫架构：**  
![这里写图片描述][70]

--------------------

## 二：分布式爬虫 ##

1、Consistent Hash 负载平衡算法  
2、MapReduce 处理数据过程如下：

map    (分解并行的任务)
        |
        √
     combine  （合成器，处理合成的list，提高reduce效率）
        |
        √
      reduce  （把处理后的结果汇总起来）

3、分布式爬虫框架：Nutch(底层实现使用hadoop)

--------------------

## 三：爬虫中的细节问题 ##

1、动态页面 = 爬虫黑洞 （使用Visited解决）  
2、导向词权重计算：

*  URL权重 = domain\*a1 + link\*a2 + parent.URL\*a3 + depath\*a4 + a5\*∑ai  ∑ a i

3、网页评分：PageRank  
4、主题爬虫 / 理解限定爬虫（采用URL建模）

--------------------

## 四：处理HTML页面 ##

1、熟练掌握正则表达式的使用  
2、使用Jsoup解析HTML文件  
3、通过找到最长文本来寻找网页正文（网页去噪）  
4、使用Rhino来从JS中抽取信息

--------------------

## 五：非HTML正文抽取 ##

1、使用PDFBox 来解析PDF文件  
2、使用POI处理office系列文档  
3、使用PtfParser处理RTF文件

--------------------

## 六：多媒体信息抽取 ##

1、抽取视频关键帧：一种方法为基于镜头边界系数的关键帧提取策略，采用非极大值抑制法确定边界系数极大值并排序。  
2、使用JMF框架处理多媒体数据，框架特点:

*  播放各种媒体文件
 *  播放从互联网下载的媒体流
 *  利用硬件截取音频、视频并保存
 *  处理媒体文件，并转换文件格式
 *  在互联网上上传/播放数据或数据流

3、通过使用SourceForge中的org.farng.mp3解析MP3中的数据

--------------------

## 七：网页去噪 ##

1、统计学降噪：网页分类（网页相似度计算）

抽象 — 串行的节点/DOM树

2、HtmlParser对Html文件解析为串行的节点  
3、NekoHTML将Html解析为标准的DOM树  
4、比较网页相似度的基本流程如下：

*  将网页抽象成一个节点数据
 *  计算两个网页对应的节点数据的最长公共子序列长度LCS-Length
 *  计算两个网页的相似度 ：

Sim = (2*LCS-Length)/（Length1+Length2）

5、风格树内确定噪声元素  
6、元素节点E的重要性  
7、java使用统计去噪

*  删除噪音块
 *  划分段落
 *  评估段落

8、利用视觉降噪：网页分块算法（VIPS）  
9、java中的Cobra网页渲染引擎

--------------------

## 八：分析Web图 ##

1、连接关系网存储：  
小型爬虫：存储连接之间的关系放到内存中  
大型爬虫：在内存数据中建立连接关系  
2、连接出度和入度进行排序

分析算法基础：
            PageRank：重要程度依赖网页的入链，高等级文件连接到网页，等级也越高
            HITS算法：通过迭代计算得到某个检索提问的最有价值的网页

--------------------

## 九：去除重复文档 ##

1、利用checksum算法去重（MD5算法）  
2、利用“语义指纹”去重  
3、利用SimHash排重

--------------------

## 十：网页分类 ##

分类和聚类

*  分类：支持向量机、线性判别函数、Boosting、AdaBoost分类、SVM、朴素贝叶斯、K近邻、EM最大熵
 *  聚类：DBScan算法（基于密度）、层次聚类、KMeans、数据流聚类

[70]: /images/20220528/964268222d2045839661d6e7fedb542e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，333人围观）

还没有评论，来说两句吧...

相关阅读

相关自己动手写XFS Manager

刘永胜 2005年于广州既然没有人知道XFS Manager的源代码，咱们就自己写一个吧。因为XFS Manager 2.0和XFS Manag

港控/mmm°/ 2023年10月16日 18:52/ 0 赞/ 54 阅读

相关自己动手写AsyncTask

本文依赖上一篇文章：[自己动手写消息机制][Link 1] 在javaSE中模拟Android的AsyncTask异步任务 package com

悠悠/ 2022年09月24日 01:20/ 0 赞/ 252 阅读

相关自己动手写消息机制

首先，我们先别管Android中的消息机制，我们先来看一个需求：在主线程中启动一个子线程去做一些事情，我希望子线程在做完这些事情后唤醒主线程来做一些相应的动作。

客官°小女子只卖身不卖艺/ 2022年09月23日 15:51/ 0 赞/ 219 阅读

相关自己动手写ajax框架

闲来无事就开始琢磨怎么提高网站效率。。。。。然后就对jquery的框架很感兴趣。。本来很可惜jq没有一个定制的功能，把需要的功能提出来之后不是可以减少很多体积么。没办法

红太狼/ 2022年09月20日 09:16/ 0 赞/ 238 阅读

相关自己动手写 android 数据库（1）

package com.neolink.providers.contacts; import java.util.HashMap; import neoli

偏执的太偏执、/ 2022年08月05日 07:29/ 0 赞/ 197 阅读

相关 iOS学习笔记-自己动手写RESideMenu

> 代码地址如下： > [http://www.demodashi.com/demo/11683.html][http_www.demodashi.com_demo_116

朴灿烈づ我的快乐病毒、/ 2022年05月30日 10:06/ 0 赞/ 223 阅读

相关《自己动手写爬虫》笔记

《自己动手写爬虫》这本书总体介绍了整个网络爬虫由浅入深的知识体系，将爬虫中每个部分分割开来具体的细讲，非常适合新手来入门，由于之前只知道使用爬虫框架，所以一遇到一些错误或者想调

骑猪看日落/ 2022年05月28日 00:47/ 0 赞/ 334 阅读

相关自己动手写操作系统

按照于渊的自己动手写操作系统，开始搭建环境。但是后面的程序需要在实模式下的dos下面跑，不能再x86下面跑。于是我开始寻找各种软件。先下载了个pc-dos，参照前面一篇。然后下

「爱情、让人受尽委屈。」/ 2022年05月21日 13:30/ 0 赞/ 261 阅读

相关自己动手写操作系统

《自己动手写操作系统》读后感 [http://blog.csdn.net/zgh1988/article/details/7059936][htt

左手的ㄟ右手/ 2022年05月21日 12:39/ 0 赞/ 272 阅读

相关自己动手写游戏：Flappy Bird

　　START：最近闲来无事，看了看一下《C\开发Flappy Bird游戏》的教程，自己也试着做了一下，实现了一个超级简单版（十分简陋）的Flappy Bird，使用的语言是

雨点打透心脏的1/2处/ 2021年11月22日 18:58/ 0 赞/ 443 阅读