深度相机（二）——飞行时间（TOF）

拼搏现实的明天。 2022-05-20 03:09 592阅读 0赞

深度相机按照深度测量原理不同，一般分为：飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。

# 一、TOF简介     #

飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过**连续发射光脉冲**（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而**TOF相机则是同时得到整幅图像的深度信息**。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。

TOF技术**采用主动光探测方式**，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，**TOF的照射单元都是对光进行高频调制之后再进行发射**，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通相机类似，***TOF相机**芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。*作为TOF的相机的核心，**TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。**该传感器结构与普通图像传感器类似，但比图像传感器更复杂，**它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。**

**![70][]**

TOF的优势：与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps。TOF的深度信息。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。

# 二、TOF分类 #

TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。

![70 1][]

飞行时间法深度测量基本原理示意图

## （一）脉冲调制 ##

脉冲调制方案的原理比较简单，如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。

![Center][]

光脉冲法工作原理示意图

脉冲调制方案的照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G0，G1）可以把电流导入不同的可以储存电荷(下图S0，S1)的电容里。

![Center 1][]

相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。

然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。

![Center 2][]

因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。

记光的速度为c，tp为光脉冲的持续时间， S0表示较早的快门收集的电荷， S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：

![Center 3][]

最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到电荷，即S1 = 0。代入公式会得出最小可测量距离d=0。

最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。

优点：

1.  测量方法简单，响应较快
2.  由于发射端能量较高，所以一定程度上降低了背景光的干扰

缺点：

1.  发射端需要产生高频高强度脉冲，对物理器件性能要求很高
2.  对时间测量精度要求较高
3.  环境散射光对测量结果有一定影响

## （二）连续波调制 ##

实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导)，因此可以利用相位偏移来测量距离。

![Center 4][]

连续波调制原理示意图

连续波调制的测量原理相对脉冲调制来说复杂一些，我们以最常用的连续正弦波调制来推导一下测量的原理。

![Center 5][]

连续正弦波调制测量方法示意图

连续正弦波调制测量方法，具体的推导过程如下。序号1-9对应下图的公式1-9。

1.  假设发射的正弦信号s(t)振幅是a，调制频率是f
2.  经过时延 △t后接收到的信号为接收r(t)，衰减后的振幅为A，强度偏移（由环境光引起）为B
3.  四个采样时间间隔相等，均为T/4
4.  根据上述采样时间可以列出四个方程组
5.  从而可以计算出发射和接收的正弦信号的相位偏移△φ
6.  据此可以根据（6）中公式计算物体和深度相机的距离d
7.  接收信号的衰减后的振幅A的计算结果
8.  接收信号强度偏移B的计算结果，反映了环境光
9.  A, B的值间接的反应了深度的测量精度，深度测量方差可以用公式9近似表示。

![Center 6][]

连续正弦波调制公式推导

优点：

1.  相位偏移（公式5）中的(r2-r0)和(r1-r3)相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。
2.  可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度（方差）。
3.  不要求光源必须是短时高强度脉冲，可以采用不同类型的光源，运用不同的调制方法

缺点：

1.  需要多次采样积分，测量时间较长，限制了相机的帧率
2.  需要多次采样积分，测量运动物体时可能会产生运动模糊。

# 三、总结 #

目前的消费级TOF深度相机主要有：微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。

TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。

但是，从前面的原理不难看出，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。

# 四、TOF相机公司网址： #

<1>MESA公司：SR4000

官网：www.mesa-imaging.ch

<2>PMD公司：CamCube3.0

官网：www.pmdtec.com

<3> Canesta公司：XZ422

官网：[www.canesta.com][]

<4> Fotonic公司

官网：[http://www.fotonic.com/content/Company/Default.aspx][http_www.fotonic.com_content_Company_Default.aspx]

转自：

# 【深度相机系列二】深度相机原理揭秘--飞行时间（TOF） #

https://blog.csdn.net/electech6/article/details/78349107

# 深度相机之TOF初探 #

https://blog.csdn.net/figo829/article/details/8560673

[70]: /images/20220520/e92c620c258745778dc40f097f996292.png
[70 1]: /images/20220520/e63495c355084ef18b8e497ab9468a73.png
[Center]: /images/20220520/4dfc690d5b8e4963aaf7dbebcdafcc00.png
[Center 1]: /images/20220520/2a65e0b61a914eddae8b2c19aafb5a12.png
[Center 2]: /images/20220520/418a169dce824af7a7c47a0b6b0e667f.png
[Center 3]: /images/20220520/fd3a225a98bf4e17948b53cec137694c.png
[Center 4]: /images/20220520/1b662751140a4f86a8910b72f20a20c4.png
[Center 5]: /images/20220520/a9fef8e8720a4085b23526148ffa8737.png
[Center 6]: /images/20220520/bb9c80ab0b4b400c96622b85c2fb4eff.png
[www.canesta.com]: http://www.canesta.com/
[http_www.fotonic.com_content_Company_Default.aspx]: http://www.fotonic.com/content/Company/Default.aspx