Caffe Blob Dtype理解

梦里梦外; 2022-06-10 09:51 162阅读 0赞

Blob 在 Caffe 中扮演了重要的角色，用于存储数据和网络参数，同时也在 CPU 和 GPU 之间做了数据同步。Blob 原本在 Caffe 中被表示为一个 4 维数组 (num x channel x height x width)，现在可以表示多维数组，最高维数由宏 `kMaxBlobAxes` 确定，目前 blob.hpp 中设置了 `const int kMaxBlobAxes = 32;`。Blob 类的代码主要集中在 blob.hpp 和 blob.cpp 中。

正常的类别和数据在声明时候，都没有<Dtype>这种东西，这里为了配合template <typename Dtype> 才搞出了

class LossLayer: public Layer 变成了class LossLayer: public Layer<Dtype>

const vector<Blob\*>& top 变成了 const vector<Blob<Dtype>\*>& top

const vector<Blob<Dtype>\*>& top 说明 top是指向一系列Blob指针的集合的一个总指针。

### 数据与相关操作函数 ###

Blob 类主要包括如下成员

其中 SyncedMemory 主要用来实现数据在 CPU 和 GPU 上的管理。同时 Blob 类提供一组函数来操作这些数据。

我们可以通过这些函数拿到 Blob 内部的数据包括修改 Blob 的内部数据。其中的 Dtype 是泛型类型，在定义 Blob 变量时设置的，一般为 float 或者 double。

Blob 类在内部所存储的数据是一块连续的内存，为了表示多维数组，shape\_ 和 shape*data* 记录了每一维的大小，这样就能够很轻松地从给出的坐标中计算出 offset 从而得到那个点的数据。由于 Blob 主要还是用来表示 4 维数组 (最初就是这样的)，Blob 类中仍使用了 `int num(); int channels(); int height(); int width();` 这些函数，其实 num 等价于 shape()\[0\]，channels 等价于 shape()\[1\]，height 等价于 shape()\[2\]，width 等价于 shape()\[3\]。计算 offset 时可以使用这四个数字或者直接给出坐标。

有了 Blob 提供的这组函数和上一组函数，我们就可以轻易地操作 Blob 内部的数据了。

### 动态多维数组 ###

Blob 类可以动态改变数组的尺寸，当拓展数组导致原有内存空间不足以存放下数据时 (count *> capacity*)，就会重新分配内存。Blob 提供了一组 Reshape 函数来完成这个功能。

Blob 类在初始化时并没有分配内存，也是通过调用 Reshape 来分配内存的。

### SyncedMemory ###

Blob 事实上是对 SyncedMemory 的封装。SyncedMemory 完成了对内存的实际操作，包括数据在 CPU 和 GPU 上的同步。

SyncedMemory 内部存放了两份数据，分别位于 CPU 和 GPU 上，用 cpu\_ptr 和 gpu\_ptr 表示。同时 SyncedMemory 也给出了一组函数来获取和设置实际数据。

head\_ 表示了数据的同步状态，通过调用 `to_cpu()` 和 `to_gpu()` 来做同步。如果 head\_ = UNINITIALIZED 则分配相应的内存。

<table style="width:748px; border-collapse:collapse; border-spacing:0px; display:block; overflow-y:hidden; overflow-x:auto; background:0px 0px"> 
 <tbody> 
 <tr> 
 <td style="border-style:none solid none none; padding:0.3em 0.5em; font-family:Menlo; border-right-width:1px; border-right-color:rgb(217,217,217); margin:0px"> <pre style="white-space:pre-wrap; word-wrap:break-word; font-family:Menlo; border:none; padding:0px; margin-top:0px; margin-bottom:0px">1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
</pre> </td> 
 <td style="border:none; padding:0.3em 0.3em 0.3em 1em; font-family:Menlo; margin:0px"> <pre style="white-space:pre-wrap; word-wrap:break-word; font-family:Menlo; border:none; padding:0px; margin-top:0px; margin-bottom:0px">inline void SyncedMemory::to_cpu() {
 
 switch (head_) {
 
 case UNINITIALIZED:
 CaffeMallocHost(&amp;cpu_ptr_, size_, &amp;cpu_malloc_use_cuda_); // 分配内存
 caffe_memset(size_, 0, cpu_ptr_); // 初始化为 0
 head_ = HEAD_AT_CPU;
 own_cpu_data_ = true;
 break;
 case HEAD_AT_GPU:
#ifndef CPU_ONLY
 if (cpu_ptr_ == NULL) {
 
 // 如果未初始化，则分配内存
 CaffeMallocHost(&amp;cpu_ptr_, size_, &amp;cpu_malloc_use_cuda_);
 own_cpu_data_ = true;
 }
 // 复制 GPU 数据到 CPU
 caffe_gpu_memcpy(size_, gpu_ptr_, cpu_ptr_);
 head_ = SYNCED;
#else
 NO_GPU;
#endif
 break;
 case HEAD_AT_CPU:
 case SYNCED:
 break;
 }
}

inline void SyncedMemory::to_gpu() {
 
#ifndef CPU_ONLY
 switch (head_) {
 
 case UNINITIALIZED:
 CUDA_CHECK(cudaGetDevice(&amp;gpu_device_)); // 获取显卡号
 CUDA_CHECK(cudaMalloc(&amp;gpu_ptr_, size_)); // 在指定显卡上分配内存
 caffe_gpu_memset(size_, 0, gpu_ptr_); // 初始化为 0
 head_ = HEAD_AT_GPU;
 own_gpu_data_ = true;
 break;
 case HEAD_AT_CPU:
 if (gpu_ptr_ == NULL) {
 
 // 未初始化就在指定显卡上分配内存
 CUDA_CHECK(cudaGetDevice(&amp;gpu_device_));
 CUDA_CHECK(cudaMalloc(&amp;gpu_ptr_, size_));
 own_gpu_data_ = true;
 }
 caffe_gpu_memcpy(size_, cpu_ptr_, gpu_ptr_); // 复制数据
 head_ = SYNCED;
 break;
 case HEAD_AT_GPU:
 case SYNCED:
 break;
 }
#else
 NO_GPU;
#endif
}
</pre> </td> 
 </tr> 
 </tbody> 
</table>

### 数据序列化 ###

Blob 数据可以通过 Protobuf 来做相应的序列化操作，`ToProto` 和 `FromProto` 完成相应的序列化操作。

### 小结 ###

Caffe 通过 SyncedMemory 和 Blob 封装了底层数据，为 Caffe 框架上的其他组件提供最基础的数据抽象，后面的 Layer 参数，Net 参数以及 Solver 的参数等都是 Blob 数据，所以理解 Blob 抽象和管理数据的实现方式有助于后续 Caffe 源码的阅读，也是阅读 Caffe 源码的第一步。