01 Python 网络爬虫：爬虫技术的核心原理

快来打我* 2024-03-23 23:20 97阅读 0赞

不夸张地说，现在哪怕是初中生，只要花点儿时间、精力稍微按「网络爬虫」的开发步骤学习了解一下，也能把它玩得贼溜。

听起来感觉是很高大上的东西，但实际上并不复杂，也就是使用了某种编程语言按照一定步骤、规则主动通过互联网来抓取某些特定信息的代码程序。

现在常见的就是使用 Python 来实现网络爬虫，后面慢慢讲。

## 1、基本原理 ##

其它慢点儿再说，咱先来简单了解一下网络爬虫的实现原理。

网络爬虫是指按照一定的规则，自动从互联网上抓取网页信息的程序。网络爬虫是搜索引擎的重要组成部分，它通过不断地访问和抓取网页信息，来建立索引和更新搜索结果。

网络爬虫的实现原理主要包括以下几个步骤，然后我再解释一下：

1.  发送 HTTP 请求
2.  接收 HTTP 响应
3.  解析 HTML 页面
4.  提取数据
5.  保存数据

#### 发送 HTTP 请求 ####

网络爬虫首先需要发送 HTTP 请求到网站服务器，请求获取网页信息。HTTP 请求包含了网页的 URL 地址、请求方式、请求头和请求体等信息。

#### 接收 HTTP 响应 ####

网站服务器收到 HTTP 请求后，会返回 HTTP 响应。HTTP 响应包含了网页的 HTML 代码、响应头和响应体等信息。

#### 解析 HTML 页面 ####

网络爬虫接收到 HTTP 响应后，需要解析 HTML 页面，以获取网页中的数据。HTML 页面由 HTML 标签组成，每个 HTML 标签都有自己的属性和值。网络爬虫通过解析 HTML 标签，可以获取网页中的数据，例如文本、图像、链接等。

#### 提取数据 ####

网络爬虫解析HTML页面后，需要提取网页中需要的数据。网络爬虫可以通过正则表达式、XPath 或 CSS 选择器来提取网页中的数据。

#### 保存数据 ####

网络爬虫提取网页中的数据后，需要将数据保存到数据库或文件中。数据可以保存为文本格式、CSV 格式、JSON 格式或XML格式等。

网络爬虫是搜索引擎的重要组成部分，它通过不断地访问和抓取网页信息，来建立索引和更新搜索结果。网络爬虫还被用于其他领域，例如数据采集、内容分析、用户行为分析等。

如果说，咱现在单纯使用 Python 来实现的话，大概就两大步骤：

第一步，使用 Python 的网络模块（urllib2\\httplib\\requests）来模拟客户端向服务端发送请求，在服务端正常响应之后，服务端即可接收到需要处理的相关网页信息。

第二步，在服务端可以通过一些数据过滤模块（lxml\\html.parser\\re）将目标信息从网页中过滤出来。

有时候，在反爬虫操作时，可以在 Python 发送的请求中添加相关的 Header 和 Cookies，还可以利用代理、设置间隔访问的时间等等。

在过滤数据的时候，其实很简单，只需要熟悉过滤模块的规则即可。只是说在刚接触的时候，那些模块中的规则很多，不过用得多了自然就记得熟了。

一般来说，熟练使用其中一个模块基本够用了，如果真碰上一个模块无法万一过滤好有效信息，那么就使用多模块协作的方式。

如果你之前也用过，就知道正则表达式（re）模块就已经相当强了，虽然一开始用的时候总感觉很复杂，但在过滤数据这件事儿上相当高效的。

## 2、爬行策略 ##

在需要使用爬虫的时候，也就是数据很多的时候，如果有很多数据的话，那么就需要注意顺序问题了，也就是说先爬哪一页，然后再爬哪一页，需要弄清楚。

爬行的顺序，有点儿像二叉树，一个是深度优先，一个是广度优先，平时我们采用深度优先的方式比较多一些。

比如，我们先会去访问第一个页面 html01，然后找到第一个数据 data01；然后再去找第二个页面 html02，找第二个数据 data02，以此类推。比如使用 bs 就是这种方式，后面我们会用到，这种方式比较常见。

还有就是采用广度优先算法的，也很简单。就是先去收集所有的网页数据，然后挨个去过滤、获取自己的有效数据。比如使用 PySpider，后面再给大家演示，不过这种方式用得比较少。

如果说，你要去爬大型的网站，或者说是多个网站的话，那就需要根据网站的大小、网页的重要性以及权重等不同因素来分成不同的等级去爬取。

比较流行的爬行策略有 pagerank、opic 等等。

## 3、识别用户 ##

另外，服务端是如何识别用户身份的呢？主要是 Cookie。在 Python 中，使用的模块是 cookielib。

Cookie 是指网站为了识别用户的身份，进行 session 跟踪而存储在用户本地终端上的数据，当然为了安全，这个数据是加密的。

发表评论取消回复

表情：

评论列表（有 0 条评论，97人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫技术的总结

网络爬虫(也称为网络蜘蛛或网页蜘蛛)是一种自动地抓取网站内容的计算机程序。它们可以被用来收集有用的信息，例如产品信息、新闻报道等，或者执行网络监测、访问次数统计等任务。网络

绝地灬酷狼/ 2024年03月25日 15:51/ 0 赞/ 44 阅读

相关 01 Python 网络爬虫：爬虫技术的核心原理

不夸张地说，现在哪怕是初中生，只要花点儿时间、精力稍微按「网络爬虫」的开发步骤学习了解一下，也能把它玩得贼溜。听起来感觉是很高大上的东西，但实际上并不复杂，也就是使用了某种

快来打我*/ 2024年03月23日 23:20/ 0 赞/ 98 阅读

相关 Python爬虫编程思想（4）：网络爬虫的基本原理

目录 1. 爬虫的分类 2. 爬虫抓取数据的方式和手段 -------------------- [Python爬虫编程思想（5）：Session与Co

川长思鸟来/ 2022年10月19日 05:39/ 0 赞/ 198 阅读

相关「数据分析师的网络爬虫」Python 爬虫入门基础原理

文章目录内容介绍网络通信基础知识爬虫的原理与流程内容介绍开发环境为 Python3.6 ，爬虫项目全部内容索引目录 [看懂Pytho

朱雀/ 2022年10月16日 10:00/ 0 赞/ 466 阅读

相关网络爬虫原理

目录 1网络爬虫原理 2写网络爬虫的原因 3网络爬虫的流程 4网络抓包 5HTTP状态码说明 6Java网络爬虫需要的基础知识 1、网

电玩女神/ 2022年09月25日 05:19/ 0 赞/ 227 阅读

相关网络爬虫技术

网络爬虫技术作者：Ackarlix 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，

朱雀/ 2022年09月19日 13:29/ 0 赞/ 263 阅读

相关 python网络爬虫——HTTP和爬虫的基本原理（一）

一、HTTP的请求过程客户端向服务器发送请求，服务器在获取请求后，给服务器反馈数据响应。 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW

逃离我推掉我的手/ 2022年09月09日 06:52/ 0 赞/ 226 阅读

相关 Python 实用爬虫-01-检测爬虫的 IP

Python 实用爬虫-01-检测爬虫的 IP 本篇介绍一个识别爬虫 ip 的小实例（教你一招识破无效的 ip 代理）【注意事项】： 1.url 可

男娘i/ 2022年05月15日 14:28/ 0 赞/ 262 阅读

相关网络爬虫技术

1、爬虫技术概述网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集

你的名字/ 2022年02月15日 15:17/ 0 赞/ 527 阅读

相关 python爬虫Day 01

一、爬虫基本原理 1、什么是爬虫？爬虫就是爬取数据。 2、什么是互联网？由一堆网络设备，把一台

傷城~/ 2021年12月12日 08:47/ 0 赞/ 439 阅读