以太坊源码P2P网络及节点发现机制

心已赠人 2022-05-20 06:20 411阅读 0赞

http://www.cnblogs.com/blockchain/p/7943962.html

1 分布式网络介绍

1.1 Kad网介绍

1.2 Kad网络节点距离

1.3 K桶

1.4 Kad通信协议

2 邻居节点

2.1 NodeTable类主要成员

2.2 邻居节点发现方法

2.3 邻居节点网络拓扑及刷新机制。

1 分布式网络介绍

以太坊底层分布式网络即P2P网络，使用了经典的Kademlia网络，简称kad。

1.1 Kad网介绍

Kademlia在2002年由美国纽约大学的PetarP.Manmounkov和DavidMazieres提出，是一种分布式散列表(DHT)技术，以异或运算为距离度量基础，已经在BitTorrent、BitComet、Emule等软件中得到应用。

## 1.2 Kad网络节点距离                ##

以太坊网络节点距离计算方法：

*  Node1：节点1 NodeId
 *  Node2：节点2 NodeId

## 1.3 K桶 ##

Kad的路由表是通过称为K桶的数据构造而成，K桶记录了节点NodeId，distance，endpoint，ip等信息。以太坊K桶按照与target节点距离进行排序，共256个K桶，每个K桶包含16个节点。

![aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjkzM1Z3TFBrMmh3QTh6bFZ6Yzg3Q3FNT2tNcW8wclVxcFJxd0tUUU1PdVZsMU1DZUF3N2puZ2cvNjQwP3d4X2ZtdD1wbmc][]

图1.1

## 1.4 Kad通信协议 ##

以太坊Kad网络中节点间通信基于UDP，主要由以下几个命令构成，若两个节点间PING-PONG握手通过，则认为相应节点在线。

<table style="border-spacing:0px;width:670px;color:rgb(51,51,51);font-size:14px;background-color:rgb(255,255,255);border:1px solid rgb(192,192,192);font-family:verdana, Arial, Helvetica, sans-serif;"> 
 <tbody> 
 <tr> 
 <td colspan="4" style="border-color:rgb(192,192,192);border-collapse:collapse;">Kad通信协议，基于UDP</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">序号</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">分类</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">功能描述</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">构成</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">1</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">PING</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">探测一个节点，判断其是否在线</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">struct PingNode{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; h256 &nbsp;version = 0x3;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Endpoint &nbsp;from;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Endpoint &nbsp;to;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; uint32_t &nbsp;timestamp;};</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">2</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">PONG</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">PING命令响应</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;"><pre style="font-size:14px;line-height:22px;">struct Pong</pre><pre style="font-size:14px;line-height:22px;">{
 </pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Endpoint to;</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; h256 echo;</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; uint32_t timestamp;</pre><pre style="font-size:14px;line-height:22px;">};</pre></td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">3</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">FINDNODE</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">向节点查询某个与目标节点ID距离接近的节点</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;"><pre style="font-size:14px;line-height:22px;">struct FindNeighbours</pre><pre style="font-size:14px;line-height:22px;">{
 </pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NodeId target;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; uint32_t timestamp;</pre><pre style="font-size:14px;line-height:22px;">};</pre></td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">4</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">NEIGHBORS</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">FIND_NODE命令响应，发送与目标节点ID距离接近的K桶中的节点</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;"><pre style="font-size:14px;line-height:22px;">struct Neighbours</pre><pre style="font-size:14px;line-height:22px;">{
 </pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; list nodes: struct Neighbour</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {
 </pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; inline Endpoint endpoint;</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NodeId node;</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; };</pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </pre><pre style="font-size:14px;line-height:22px;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; uint32_t timestamp;</pre><pre style="font-size:14px;line-height:22px;">};</pre></td> 
 </tr> 
 </tbody> 
</table>

# 2 邻居节点 #

## 2.1 NodeTable类主要成员 ##

C++版本以太坊源码中，NodeTable是以太坊 P2P网络的关键类，所有与邻居节点相关的数据和方法均由NodeTable类实现。

<table style="border-spacing:0px;width:670px;color:rgb(51,51,51);font-size:14px;background-color:rgb(255,255,255);border:1px solid rgb(192,192,192);font-family:verdana, Arial, Helvetica, sans-serif;"> 
 <tbody> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">序号</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">函数名</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">路径</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">功能</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">1</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">NodeTable::NodeTable(ba::io_service&amp; &nbsp;_io, KeyPair const&amp; _alias, NodeIPEndpoint const&amp; _endpoint, bool &nbsp;_enabled)&nbsp;</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">NodeTable类构造函数，初始化K桶，发起邻居节点发现过程</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">2</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">void &nbsp;NodeTable::doDiscovery()</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">Cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">具体发现函数</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">3</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">shared_ptr&lt;NodeEntry&gt; &nbsp;NodeTable::addNode(Node const&amp; _node, NodeRelation _relation)</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">将节点加入m_nodes，并发起ping握手</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">4</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">void &nbsp;NodeTable::doDiscover(NodeID _node, unsigned _round, &nbsp;shared_ptr&lt;set&lt;shared_ptr&lt;NodeEntry&gt;&gt;&gt; _tried)</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">底层发现函数，从k桶中选出节点，发送FINDNODE命令</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">5</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">vector&lt;shared_ptr&lt;NodeEntry&gt;&gt; &nbsp;NodeTable::nearestNodeEntries(NodeID _target)</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">从K桶中选出节点</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">6</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">void &nbsp;NodeTable::onReceived(UDPSocketFace*, bi::udp::endpoint const&amp; _from, &nbsp;bytesConstRef _packet)</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">Kad协议处理</td> 
 </tr> 
 <tr> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">7</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">void &nbsp;NodeTable::noteActiveNode(Public const&amp; _pubk, bi::udp::endpoint &nbsp;const&amp; _endpoint)</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">cpp-ethereum/libp2p/NodeTable.cpp</td> 
 <td style="border-color:rgb(192,192,192);border-collapse:collapse;">将新节点加入到K桶</td> 
 </tr> 
 </tbody> 
</table>

## 2.2 邻居节点发现方法 ##

邻居节点是指加入到K桶，并通过PING-PONG握手的节点。

![aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjlSdzBBNmhjTXRFbXBpYlJtMXQ3ZUxaaWJlR3BmdzI5Z3c0QTVOaWFpYlJERzJ2TkZ3V3pwd3VMT01nLzY0MD93eF9mbXQ9cG5n][]

图2.1

邻居节点发现流程说明：

1.  系统第一次启动随机生成本机节点NodeId，记为LocalId,生成后将固定不变，本地节点记为local-eth。
2.  系统读取公共节点信息，ping-pong握手完成后，将其写入K桶。
3.  系统每隔7200ms刷新一次K桶。
4.  刷新K桶流程如下：

a.      随机生成目标节点Id，记为TargetId，从1开始记录发现次数和刷新时间。

b.      计算TargetId与LocalId的距离，记为Dlt

c.      K桶中节点的NodeId记为KadId，计算KadId与TargetId的距离，记为Dkt

d.      找出K桶中Dlt大于Dkt的节点，记为k桶节点，向k桶节点发送FindNODE命令，FindNODE命令包含TargetId

e.      K桶节点收到FindNODE命令后，同样执行b-d的过程，将从K桶中找到的节点使用Neighbours命令发回给本机节点。

f.       本机节点收到Neighbours后，将收到的节点写入到K桶中。

g.      若搜索次数不超过8次，刷新时间不超过600ms，则返回到b步骤循环执行。

## 2.3 邻居节点网络拓扑及刷新机制。 ##

![aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjlXVndvMUpwb2ExaWJMUjU4cVBYdnBQOTRRNll5OU1vMFBkYkxuMGRFdm5FOUhnbUtTSGNjT0J3LzY0MD93eF9mbXQ9cG5n][]

图2.2

1 TargetId为随机生成的虚拟节点ID。

2 以太坊Kad网络与传统Kad网络的区别：

1.  以太坊节点在发现邻居节点的8次循环中，所查找的节点均在距离上向随机生成的TargetId收敛。
2.  传统Kad网络发现节点时，在距离上向节点本身收敛。

本文由HPB（芯链）团队整理。

[aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjkzM1Z3TFBrMmh3QTh6bFZ6Yzg3Q3FNT2tNcW8wclVxcFJxd0tUUU1PdVZsMU1DZUF3N2puZ2cvNjQwP3d4X2ZtdD1wbmc]: /images/20220520/7608f089b3c44bc5a21477123925ea11.png
[aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjlSdzBBNmhjTXRFbXBpYlJtMXQ3ZUxaaWJlR3BmdzI5Z3c0QTVOaWFpYlJERzJ2TkZ3V3pwd3VMT01nLzY0MD93eF9mbXQ9cG5n]: /images/20220520/f88aa31d7b6a4f418f5789cb4cfc89c5.png
[aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9aN0w0S1JOQllDNFo4SjM0aEQySG1URXA1aFJad2lhWjlXVndvMUpwb2ExaWJMUjU4cVBYdnBQOTRRNll5OU1vMFBkYkxuMGRFdm5FOUhnbUtTSGNjT0J3LzY0MD93eF9mbXQ9cG5n]: /images/20220520/efb49b5e906846ff98b80d509dad9c55.png