模板引擎工作原理_「白皮书解读搜索引擎的工作原理」建库

淩亂°似流年 2023-01-07 05:58 167阅读 0赞

> 导读：搜索引擎工作原理是什么？今天来讲讲蜘蛛的抓取建库。

![44c87ec83d8ea007b1840959924262c0.png][]

本文解读的是：《百度官方课程抓取建库》

**1、spider抓取系统**

**2、spider抓取指标**

**一、spider抓取系统**

百度蜘蛛抓取建库是个极其复杂的系统工程，光是抓取系统就分为链接存储系统、链接选取系统、DNS解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

如果不好理解的话，你可以理解为一个抓取程序，分为以上几个功能模块，功能相互配合完成抓取程序，我个人分析，根据百度蜘蛛的情况来看，目前百度抓取的IP段在220,116段，116开头IP在于阳泉(李彦宏老家)，因此我们不妨推测出这样一个观点，我们看到一个个的蜘蛛IP，就是对应的这些电脑主机，而这些电脑上就装着抓取程序。

**二、spider抓取指标**

我们按照蜘蛛抓取流程来说，一个蜘蛛爬到网站后，首先去访问robots.txt的协议文件，遵循协议中的规则，该爬哪里不该爬哪里，然后通过抓取后通过抓取返回码去做下一步动作，比如抓取a.com/123.html，返回码是404，那么此条信息就告诉百度这条信息已经失效，如果此条已收录，就从库中删除，同时蜘蛛再次访问url也不会抓取此链接。在百度蜘蛛抓取的过程中，如果你实时监测蜘蛛的时间就会发现一点，有的站内蜘蛛爬取很频繁，有的站内很久才有蜘蛛访问，造成这种结果有两个原因，一个是百度服务器任务处理采取分布式处理，所以蜘蛛抓取通道有阻塞，因此有时间上的差异，排除通道阻塞，站内内容多少和外链引入蜘蛛也是一个影响蜘蛛爬取的一个关键因素。

spider在抓取页面过程需判断页面是否抓取，没有抓取就会被放到抓取序列中处理，已抓取就会对比库中是否有同样并归一处理。

在公认的spider指标中，有四大指标：

1、网站更新频率，更新快多来，更新慢少来，这也是为什么很多站一天更新上万篇的原因，一定程度上可以直接提高收录几率。

2、网站内容质量高低。优质内容爬取频繁，低不爬或少爬。什么是优质内容？之前一篇文章有提到过。

3、服务器稳定、不卡顿和打开流畅。

4、站点评级。(已实锤不是权重，而是更高级的站点评级)评级是动态参数，是配合其他因子进行算法计算到阈值变化的变量。评级会影响网站的收录和排序。

文章首发迅步，原文链接：https://www.91xb.cn/5279.html

[44c87ec83d8ea007b1840959924262c0.png]: /images/20221119/e4da1cd22ed140ddb4bd68be2bf28abb.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java执行引擎工作原理：方法调用

Java执行引擎工作原理：方法调用方法调用如何实现函数指针和指针函数 CallStub源码详解 [Git链接][Git]（有HotSpo

小鱼儿/ 2023年08月17日 16:24/ 0 赞/ 130 阅读

相关 javascript引擎工作原理

javascript引擎工作原理 1. 什么是JavaScript解析引擎？　　简单地说，JavaScript解析引擎就是能够“读懂”JavaScript代码

深藏阁楼爱情的钟/ 2023年07月09日 02:26/ 0 赞/ 16 阅读

相关 javascript引擎工作原理

javascript引擎工作原理 1. 什么是JavaScript解析引擎？　　简单地说，JavaScript解析引擎就是能够“读懂”JavaScript代码

矫情吗；*/ 2023年07月07日 03:41/ 0 赞/ 91 阅读

相关 WEB前端-搜索引擎工作原理与SEO优化

一、搜索引擎工作原理搜索引擎的工作分为三个阶段，即爬行，索引和检索 1、爬行 ![1731684-20190814153046726-1864177528.png]

布满荆棘的人生/ 2023年06月02日 09:17/ 0 赞/ 29 阅读

相关模板引擎工作原理_「白皮书解读搜索引擎的工作原理」建库

> 导读：搜索引擎工作原理是什么？今天来讲讲蜘蛛的抓取建库。 ![44c87ec83d8ea007b1840959924262c0.png][] 本文解读的是：《百度官方课

淩亂°似流年/ 2023年01月07日 05:58/ 0 赞/ 168 阅读

相关搜索引擎的工作原理

搜索引擎的工作原理第一步：爬行搜索引擎是通过一种特定的规律的软件跟踪网页的链接，从一个链接爬到另一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”，也被称为

比眉伴天荒/ 2022年09月28日 14:27/ 0 赞/ 176 阅读

相关 Linux动态库的工作原理详解

关于动态库的原理和加载过程，网上也有很多版本，但是基本都在讲解动态库的编译以及使用，很少能够有文章对动态库的加载以及工作原理进行深入的剖析和讲解。说来也很惭愧，在过去的工作中，

谁践踏了优雅/ 2022年09月25日 04:18/ 0 赞/ 225 阅读

相关搜索引擎分类与工作原理

搜索引擎分类与工作原理整理：Ackarlix 搜索引擎分类搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目

Myth丶恋晨/ 2022年09月19日 14:25/ 0 赞/ 183 阅读

相关搜索引擎的基本工作原理

搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立 [索引库][Link 1]；再由检索器根据用户输入的查询关键字，在索引库

朱雀/ 2022年08月20日 08:18/ 0 赞/ 214 阅读

相关 JBPM工作流引擎原理

1. JBPM[工作流引擎][Link 1]是用来做什么的首先要说明的一点是工作流引擎指的并不只是JBPM，JBPM只是工作流引擎的一种。JBPM利用JPDL流程

￡神魔★判官ぃ/ 2022年03月02日 02:47/ 0 赞/ 319 阅读