BPF系列学习（1）-什么是内核BPF、eBPF

淩亂°似流年 2022-09-07 12:25 431阅读 0赞

### 文章目录 ###

*  一、什么是内核BPF、eBPF
 *   *  1. 什么是eBPF
     *  2. BPF能力的限制
     *  3. BPF 和内核模块（Kernel Module）对比
     *  4. BPF 应用场景
     *   *  具体应用场景举例
 *  二、参考

# 一、什么是内核BPF、eBPF #

最全BPF学习资源网站，主要由Cilium团队维护，上面会及时更新BPF技术的文档和视频。  
https://ebpf.io/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ludGhhdA_size_16_color_FFFFFF_t_70]BPF全称是 「Berkeley Packet Filter」，翻译过来是 「伯克利包过滤器」，顾名思义，它是在伯克利大学诞生的，1992年Steven McCanne 和 Van Jacobson 写了一篇《The BSD Packet Filter: A New Architecture for User-level Packet Capture》论文 ，第一次提出了BPF技术，在文中，作者描述了他们如何在 Unix 内核实现网络数据包过滤，这种新的技术比当时最先进的数据包过滤技术快 20 倍。

BPF是很早就有的内核特性，在内核中将报文“镜像”了一份，并用BPF指令检查镜像出来的报文、决定报文的去留，即在1)抛弃报文和2)将其复制到用户空间之间抉择。

tcpdump使用的libpcap是基于BPF的，在使用tcpdump或者libpcap时传入的“host 192.168.1.1”、“tcp and port 80”等是过滤表达式。

**过滤表达式会被编译成BPF指令**，在tcpdump命令后面加上-d参数可以看到

eBPF是kernel 3.15中引入的全新设计，将原先的BPF发展成一个指令集更复杂、应用范围更广的“内核虚拟机”。

$ tcpdump -d -i eth0 tcp and port 80
    (000) ldh      [12]
    (001) jeq      #0x86dd jt 2 jf 8
    (002) ldb      [20]
    (003) jeq      #0x6 jt 4 jf 19
    (004) ldh      [54]
    (005) jeq      #0x50 jt 18 jf 6
    (006) ldh      [56]
    (007) jeq      #0x50 jt 18 jf 19
    (008) jeq      #0x800 jt 9 jf 19
    (009) ldb      [23]
    (010) jeq      #0x6 jt 11 jf 19
    (011) ldh      [20]
    (012) jset     #0x1fff jt 19 jf 13
    (013) ldxb     4*([14]&0xf)
    (014) ldh      [x + 14]
    (015) jeq      #0x50 jt 18 jf 16
    (016) ldh      [x + 16]
    (017) jeq      #0x50 jt 18 jf 19
    (018) ret      #65535
    (019) ret      #0

这些BPF指令是在内核中被BPF解释执行的。

BPF是最近Linux内核领域热门的技术。传统的BPF指的是tcpdump命令用于过滤网络包的工具，现在BPF已经得到极大的扩展，不再是Berkeley Packet Filter的缩写对应的简单的网络包过滤工具。 从Kernel 4.9之后，BPF已经成为一个完善的内核扩展工具。

> 一种在内核空间执行高效安全的程序的机制。BPF通过一种软件定义的方式，将内核的行为和数据暴露给用户空间，开发者可以通过在用户空间编写BPF程序，加载到内核空间执行，进而实现对内核行为的灵活管理和控制。

## 1. 什么是eBPF ##

发展到现在名称升级为eBPF： 「extended Berkeley Packet Filter」。**它演进成为了一套通用执行引擎，提供可基于系统或程序事件高效安全执行特定代码的通用能力**，通用能力的使用者不再局限于内核开发者。**其使用场景不再仅仅是网络分析**，可以基于eBPF开发性能分析、系统追踪、网络优化等多种类型的工具和平台。

eBPF 由执行字节码指令、存储对象和辅助函数组成。下图是eBPF工作原理演示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ludGhhdA_size_16_color_FFFFFF_t_70 1]eBPF字节码指令在内核执行前必须通过 BPF 验证器的验证，同时在启用 BPF JIT 模式的内核中，会直接将字节码指令转成内核可执行的本地指令运行，具有很高的执行效率。

> eBPF 的基本原理——它所有的接口都是通过 BPF 系统调用来跟内核进行交互，eBPF 程序通过 LVM 和 Cline 进行编译，产生 eBPF 的字节码，通过 BPF 系统调用，加载到内核，验证代码的安全性，从而通过 JIT 实时的转化成 Native 的 X86 的指令。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6KW_5Lqs5YiA5a6i_size_20_color_FFFFFF_t_70_g_se_x_16]

eBPF全新设计了更丰富的指令集、增加了寄存器，性能大幅提高。增加了名为bpf的系统调用，为用户态程序提供与内核中的eBPF进行交互的途径：  
![在这里插入图片描述][4bda2b72bb6c418fac63a9002a766f51.png]

> BPF是一门热门技术

近两年BPF技术跃然成为了一项热门技术，在刚刚结束的KubeCon 2020 Europe会议上有7个关于BPF的技术分享， 而在KubeCon 2020 China会议上也已有了3个关于BPF技术的中文分享，分别来自腾讯和PingCAP，涉足网络优化和系统追踪等领域。在中文社区里，包括阿里巴巴、网易、字节跳动等国内第一梯队IT公司也越来越关注BPF这项新技术。

大名鼎鼎的系统性能优化专家Brendan Gregg对于BPF的到来，就给出了以下的名言：

> “Super powers have finally come to Linux” — Brendan Gregg

## 2. BPF能力的限制 ##

参考URL: https://github.com/DavadDi/bpf\_study\#23-ebpf-%E7%9A%84%E9%99%90%E5%88%B6

BPF技术虽然强大，但是为了保证内核的处理安全和及时响应，内核对于BPF 技术也给予了诸多限制，如下是几个重点限制：

*  eBPF 程序不能调用任意的内核参数，只限于内核模块中列出的 BPF Helper 函数，函数支持列表也随着内核的演进在不断增加
 *  eBPF程序不允许包含无法到达的指令，防止加载无效代码，延迟程序的终止
 *  eBPF **程序中循环次数限制且必须在有限时间内结束**
 *  eBPF 堆栈大小被限制在 MAX BPF STACK，截止到内核 Linux 5.8 版本，被设置为 512。目前没有计划增加这个限制，解决方法是改用 BPF Map，它的大小是无限的。
 *  eBPF 字节码大小最初被限制为 4096 条指令，截止到内核 Linux 5.8 版本， 当前已将放宽至 100 万指令（ BPF\_COMPLEXITY\_LIMIT\_INSNS），对于无权限的BPF程序，仍然保留4096条限制 ( BPF\_MAXINSNS )

## 3. BPF 和内核模块（Kernel Module）对比 ##

Kernel Module的主要目的就是让用户可以通过这种机制，实现对内核的“赋能”，动态添加一些内核本身不支持的功能，比如硬件的驱动能力，新的文件系统或是系统调用。当然也可以融合到现有的内核处理流程中，比如在netfilter的某个hook点中添加包处理方法等。

Kernel Module的优点：

*  动态添加/删除，无需重新编译内核
 *  减小内核体积

缺点：

*  一旦出现BUG可能导致内核直接崩溃
 *  增加内核攻击面，影响内核安全

eBPF要做的事情也非常类似，但它想要克服Kernel Module的缺点，即确保执行的代码绝对安全。

为了达到这一目的\*\*，eBPF在内核中实现了一个虚拟机执行用户的指令。与Kernel Module直接在真实的物理硬件上执行用户的指令不同，\*\*eBPF提供给用户一个虚拟的RISC处理器，以及一组相关的指令。用户可以直接用这组指令编写程序。同时，程序在下发到该虚拟机之前也会经过eBPF的检查，比如会不会进入无限循环，会不会访问不合法的内存地址等等。只有在通过检查之后才可以进入执行的环节。

对eBPF来说，和Kernle Module一样，\*\*也是通过特定的Hook点监听内核中的特定事件，进而执行用户定义的处理。\*\*这些Hook点包括：

*  静态tracepoint
 *  动态内核态探针(Dynamic Kernel probes)
 *  动态用户态探针(Dynamic User Probes)
 *  其他hook点

针对主要是监控、跟踪使用的eBPF应用来说，主要通过这种方式取得内核运行时的一些参数和统计信息。例如，系统调用的参数值、返回值，**通过eBPF map将得到的信息送给用户态程序，进而在用户态完成后处理流程**。

另外一类应用则**直接在一些内核处理流程中加入自己的处理逻辑**，例如XDP，就是在网卡驱动和内核协议栈之间插入了eBPF扩展的网包过滤、转发功能。

## 4. BPF 应用场景 ##

从Kernel 4.9之后，BPF已经成为一个完善的内核扩展工具，BPF在内核里运行一个sandbox，用于执行BPF的字节码（bytecode）， 在执行BPF程序前，BPF的检查器会对BPF程序的字节码进行安全检查（比如，指针要先判断不为空后再访问，代码里不能有循环，等等），以保证BPF程序不会导致系统崩溃，因为BPF程序执行时是在内核态。 因此，**BPF可以很安全地在内核态执行用户编写的程序，而且有安全保证，这比编写内核模块安全太多了**。 正是因为**BPF能保证安全，并运行在内核态**，可以大大简化很多以前很复杂的事情，**目前BPF已经应用于性能分析、网络、安全、驱动、区块链等等领域**。

*  高级性能跟踪工具：**对文件系统操作**、TCP 事件、用户级事件等的**可编程的低开销检测**。
 *  网络性能： 尽早丢弃数据包以提高对 DDoS 的恢复能力，或者在内核中重定向数据包以提高性能。
 *  安全监控： 7x24 小时的自定义检测和记录内核空间与用户空间内的可疑事件。

### 具体应用场景举例 ###

1、Cilium，是首款完全基于eBPF程序实现了kube-proxy的所有功能的Kubernetes CNI网络插件，无需依赖iptables和IPVS。  
我们知道kube-proxy基于iptables的服务负载均衡功能在大规模容器场景下具有严重的性能瓶颈，同时由于容器的创建和销毁非常频繁，基于IP做身份关联的故障排除和安全审计等也很难实现。  
Cilium作为一款Kubernetes CNI插件，从一开始就是为大规模和高度动态的容器环境而设计，并且带来了API级别感知的网络安全管理功能，通过使用基于Linux内核特性的新技术——BPF，提供了基于Service/Pod/Container作为标识，而非传统的IP地址，来定义和加强容器和Pod之间网络层、应用层的安全策略。因此，Cilium不仅将安全控制与寻址解耦来简化在高度动态环境中应用安全性策略，而且提供传统网络第3层、4层隔离功能，以及基于http层上隔离控制，来提供更强的安全性隔离。

另外，由于BPF可以动态地插入控制Linux系统的程序，实现了强大的安全可视化功能，而且这些变化是不需要更新应用代码或重启应用服务本身就可以生效，因为BPF是运行在系统内核中的。

以上这些特性，使Cilium能够在大规模容器环境中也具有高度可伸缩性、可视化以及安全性。

2、Falco，来自老牌安全厂商Sysdig开源的关注云原生运行时安全的项目。

当前问题：目前云原生时代Kubernetes技术解决了基础架构平台Day 1 Operation问题，而Day 2 Operation包含了monitor，maintain，和 troubleshoot等一系列运行时工作，其中「云原生安全问题」已经引起越来越多的注意。

Falco解决方案：Falco是第一个加入CNCF的关注云原生运行时安全的开源项目，目前是威胁Kubernetes平台监测引擎的事实标准，还可以监测意外的应用行为和运行时发出的威胁警告。

如何使用eBPF程序实现实时应用监控：

Falco主要使用了raw\_tracepoint的系统调用hook，检测应用进程的启动和退出，然后通过Perf类型的BPF Map将检测到的数据发送回用户空间，实现监控的pipeline。官方Falco已自带了很多默认监控规则，具体可以查看Falco pod中的/etc/falco/falco\_rules.yaml文件。

3、Kubectl-trace，一款基于bpftrace的kubectl插件，帮助用户追踪排查Kubernetes应用的运行情况。

首先介绍下bpftrace，它是一种高阶的描述系统追踪的语言，**其优势在于可以通过一行脚本（One-Liner）实现多种应用追踪能力**，如下图所示：

# 二、参考 #

https://ebpf.io/

BPF使能软件定义内核  
参考URL: http://blog.nsfocus.net/bpf-enable-software-definition-kernel/  
Linux超能力BPF技术介绍及学习分享  
参考URL: https://www.sohu.com/a/419331794\_467784  
Linux内核功能eBPF入门学习（一）：BPF、eBPF、BCC等基本概念  
参考URL: https://www.lijiaocn.com/%E6%8A%80%E5%B7%A7/2019/02/25/ebpf-introduction-1.html  
使用BPF进行性能追踪\_\_BPF前世今生+为什么你会爱上它  
参考URL: https://www.bilibili.com/video/BV1mv411h7NU  
BPF C编程入门  
参考URL： https://www.bilibili.com/video/BV1f54y1h74r  
\[视频-推荐\]高效入门eBPF  
参考URL: https://www.bilibili.com/video/BV1LX4y157Gp  
Linux超能力BPF技术介绍及学习分享  
参考URL: https://www.sohu.com/a/418582768\_198222  
bpf简介1  
参考URL: https://blog.csdn.net/sinat\_38816924/article/details/115471891  
ebpf深入理解和应用介绍  
参考URL: https://blog.csdn.net/gengzhikui1992/article/details/105364645

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ludGhhdA_size_16_color_FFFFFF_t_70]: /images/20220829/5a70a39628914c43ae94d414f206ff35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ludGhhdA_size_16_color_FFFFFF_t_70 1]: /images/20220829/50e53d726cc44768aeb1dd780ef11c5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6KW_5Lqs5YiA5a6i_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/cfb5951372324f5993e93c0c8f80ee63.png
[4bda2b72bb6c418fac63a9002a766f51.png]: /images/20220829/56b19e2c0c16461bbb6f92af4baa9476.png