linux 路由跟踪表 nf_conntrack 数据结构参数简介

我就是我 2021-08-29 13:09 657阅读 0赞

在内核中，连接跟踪表是一个二维数组结构的哈希表(hash table)，哈希表的大小记作`HASHSIZE`，哈希表的每一项(hash table entry)称作bucket，因此哈希表中有`HASHSIZE`个bucket存在，每个bucket包含一个链表(linked list)，每个链表能够存放若干个conntrack条目(`bucket size`)。需要明确的是，nf\_conntrack 模块并不是所有 Linux 内核都会加载，最常见的导致加载该模块的原因是使用了 iptables、lvs 等内核态 NAT/防火墙导致内核需要对连接表进行追踪，iptable\_nat、ip\_vs 等多个内核模块都依赖 nf\_conntrack， 但是 nf\_conntrack 的存在会影响高并发下的内核收包性能。

![format_png][]

对于一个新收到的数据包，内核使用如下步骤判断其是否属于一个已有连接：

*  内核提取此数据包信息(源目IP，port，协议号)进行hash计算得到一个hash值，在哈希表中以此hash值做索引，索引结果为数据包所属的bucket(链表)。这一步hash计算时间固定并且很短
 *  遍历hash得到的bucket，查找是否有匹配的conntrack条目。这一步是比较耗时的操作，`bucket size`越大，遍历时间越长

### bucket\_size 和 hashsize 的关系 ###

根据上面对哈希表的解释，系统最大允许连接跟踪数`CONNTRACK_MAX = 连接跟踪表大小(HASHSIZE) * Bucket大小(bucket size)`。从连接跟踪表获取bucket是hash操作时间很短，而遍历bucket相对费时，因此为了conntrack性能考虑，`bucket size`越小越好，默认为8或者4

> nf\_conntrack\_max – INTEGER Size of connection tracking table. Default value is nf\_conntrack\_buckets value \* 4.

`net.netfilter.nf_conntrack_buckets` 即是 `/sys/module/nf_conntrack/parameters/hashsize`  
同时设定了 `conntrack_max` 和 `hashsize` 时，`bucket_size`会调整为其比值：

1.  \# sysctl net.netfilter.nf\_conntrack\_buckets
2.  net.netfilter.nf\_conntrack\_buckets = 65536
3.  \# sysctl net.netfilter.nf\_conntrack\_max
4.  net.netfilter.nf\_conntrack\_max = 100000000
5.  \# echo "100000000 65536"| awk '\{printf "%.2f\\n",$1/$2\}'
6.  1525.88

### 计算 conntrack 消耗的内存 ###

计算方法：

> total\_mem\_used(bytes) = CONNTRACK\_MAX \* sizeof(struct ip\_conntrack) + HASHSIZE \* sizeof(struct list\_head)

样例代码：

1.  import ctypes
2.   
3.  \#不同系统可能不一样，ldconfig -v | grep conntrack 获取对应版本
4.  LIBNETFILTER\_CONNTRACK = 'libnetfilter\_conntrack.so.3.5.0'
5.   
6.  nfct = ctypes.CDLL(LIBNETFILTER\_CONNTRACK)
7.  print 'sizeof(struct nf\_conntrack):', nfct.nfct\_maxsize()
8.  print 'sizeof(struct list\_head):', ctypes.sizeof(ctypes.c\_void\_p) \* 2

在上述机器（hashsize=65536, conntrack\_max=100000000）上运行结果：

1.  sizeof(struct nf\_conntrack): 328
2.  sizeof(struct list\_head): 16

根据上述算式得出线上配置内存的理论消耗：`100000000 * 328 +65536 * 16` bytes，主要由第一项组成

### 相关问题和处理 ###

最近遇到了一个 nf\_conntrack 相关的问题，背景是：近期贵组 LB 上线了一个新的集群，在只有接入项目较少的情况下，出现了 CPU 异常压力过大的问题，perf 发现大量 CPU 消耗在 nf\_conntrack\_find\_get 上：

![format_png 1][]

经查，nf\_conntrack bucket hashsize 过小，导致 bucket size 大，查表效率差，调整前 `/sys/module/nf_conntrack/parameters/hashsize` 为16384，经上述算法计算 bucket size 高达6000+，将 hashsize 调整为524288后比值为100量级。

1.  echo "\`sysctl -n net.netfilter.nf\_conntrack\_max\` 16384"| awk '\{printf "%.2f\\n",$1/$2\}'
2.  6103.52
3.  echo "\`sysctl -n net.netfilter.nf\_conntrack\_max\` \`sysctl -n net.netfilter.nf\_conntrack\_buckets\`"| awk '\{printf "%.2f\\n",$1/$2\}'
4.  190.73

![format_png 2][]

[format_png]: /images/20210728/8b0e0fa7479244389e1837f1e2602f17.png
[format_png 1]: /images/20210728/bf3bca5e24c14dcca6f9bab75b2ae8c8.png
[format_png 2]: /images/20210728/3a3abbd596364ba2ba79c2d663b676b7.png