基于zynq FPGA平台的目标检测网络实现项目汇报与交接

布满荆棘的人生 2022-03-26 11:36 434阅读 0赞

**背景**：着手深度学习的FPGA实现的项目半年以来，实现了大量工作，现在需要移交项目，所以总结项目所有的情况，以及移交。

**目录**

一、项目概览

二、python端

2.1 MTCNN与训练过程

2.2 mAP的测试

2.3 网络结构的更改

2.4 输出python训练的权重到c代码端

python之中的顺序

c代码之中的顺序

三、c代码端

3.1 文件描述

程序文件

权重文件

更改结构顺序

3.2 卷积的更改

初始的依赖openBLAS的卷积函数

重新运用定义编写卷积代码

加入bias和ReLU

存储顺序

四、硬件端

4.1 卷积IPcore

4.2 IPcore报告

时间资源

空间资源

4.3 ARM端工作

五、交接后续需要的工作

--------------------

# 一、项目概览 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

![20190117090730913.png][]

项目分为python端，c代码端，硬件端。

python端用于确定相应的网络模型结构，训练模型。从而根据相应的权重进行保存。

c++端用于实现神经网络的推断，也就是只有前馈的预测运算。根据相应的python端的权重，和输入图片，预测得出相应的bounding box。一是因为c++代码执行效率高，并且省去了训练的过程，只有前馈运算过程。二是实现为c++代码可以方便于后面的HLS部署于FPGA上。

硬件端用于部署相应的网络结构。分为ARM端和FPGA端，ARM端就是arm架构，可以用c++代码直接交叉编译即可，FPGA端为FPGA架构，需要将相应的程序通过HLS实现为IPcore，烧写到FPGA上，然后用ARM控制进行运算。

# 二、python端 #

## 2.1 MTCNN与训练过程 ##

https://github.com/wangbm/MTCNN-Tensorflow

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

MTCNN是三个级联的网络，Pnet用于生成备选框，Rnet用于对备选框初次筛选，Onet用于确定最终输出的备选框。

所以训练过程需要训练三个网络。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

训练流程见上面连接的内容。

## 2.2 mAP的测试 ##

mAP为目标检测领域的基础指标。

![20190117091649273.png][]

首先标签相同交并比IoU>0.5表示网络检测正确。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

然后画出相应的查全率与查准率的曲线，积分得到的蓝色区域即为mAP。

![20190117091828842.png][]

各类的平均AP即mAP

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

测试mAP需要将程序做一定的修改，将所有图像的预测标签与groundTruth放入文件夹之中。然后测试。

这一系列过程被封装好，封装到test\_all.py之中。

## 2.3 网络结构的更改 ##

![2019011709203924.png][]

在原始结构的基础上，

*  重新制作公交人头数据集，重新训练以在公交人头数据集上运行
 *  为了增加硬件平台的功能（最好确定为定长度的），将卷积固定为3x3,
 *  去掉pooling的过程，运用stride为2的卷积来替代以增加并行性。
 *  然后将PReLU改为ReLU，这样不用存储斜率。
 *  增加一定量的通道数量，以增加mAP
 *  在文件mtcnn.py之中
 *  更改后的网络结构表[ https][https][://][https][blog.csdn.net/weixin\_36474809/article/details/85990687][https]

## 2.4 输出python训练的权重到c代码端 ##

python权重与c权重顺序很不一样。python之中权重为四维张量，c代码之中为线性存储的。

### python之中的顺序 ###

![20190117092445310.png][]

### c代码之中的顺序 ###

![20190117092506478.png][]

因为是线性存储，所以需要一系列偏移地址找到权重位置：

![20190117092549879.png][]

# 三、c代码端 #

## 3.1 文件描述 ##

### 程序文件 ###

*  **mtcnn.cpp .****hpp** : Network structure definition of MTCNN 网络结构的定义
 *  **network.cpp** **hpp** : Basic functions such as conv , relu , padding  基本的函数实现，比如卷积，reLU，padding
 *  **pbox.cpp .****hpp** : definition of basic data format.  基本的数据结构定义。例如pBox结构体，里面存了宽，高，通道数和数据指针指向数据。

### 权重文件 ###

*  **Pnet.bin** **,** **Rnet.bin** **,** **Onet.bin** total 3.0 MB 三个权重文件3MB，为了减少FPGA数据流量
 *  Generated by python 通过前面的python端训练产生。
 *  Read by readData function. 通过c文件之中的readData函数读取。之前c代码之中权重文件为.txt格式，我们改为 .bin格式，数据更紧密。
 *  readData function difinied in network.cpp, function called in mtcnn.cpp

### 更改结构顺序 ###

c代码的网络结构需要与python代码的结构一致。每次更改网络结构之后，需要做以下的修改。

*  Changing python code network structure。更改python代码的结构
 *  Rerun python training code 重新训练python端的代码
 *  Generate weight file. 输出权重文件
 *  In mtcnn.hpp , change the structure of class Pnet(Rnet,Onet) private definition. 在mtcnn.hpp程序之中更改类Pnet(Rnet,Onet)的private定义
 *  In mtcnn.cpp , change class Pnet(Rnet,Onet) construct function and destruct function. 在mtcnn.cpp更改相应的类的构造函数和析构函数
 *  Change parameters in dataNumber, pointTeam, readData for weight file read.更改与权重读取相关的三个函数及参量：dataNumber, pointTeam, readData。
 *  Change Init function for each layer buffer malloc.更改实现相应的层的init函数，init函数用于开辟内存空间。
 *  Change run function to run each layer. 更改每层的运行函数。

## 3.2 卷积的更改 ##

### 初始的依赖openBLAS的卷积函数 ###

openBLAS为线性代数实现的函数。

卷积的运用滑窗函数实现为一个二维矩阵，然后与权重排列成的二维矩阵实现矩阵乘。这也是大多数卷积的实现方式。但是这种方法无法实现于FPGA之上。并且每次进行取框函数会加大运算量。

Convolution in 2D matrix multiplication format:
    // input Weight matrix  *  input feature matrix(Trans) = output feature matrix
    // height (outChannels)    height (3D_KernelSize)        height (outChannels)
    // width  (3D_KernelSize)  width  (outFeatureSize)       width  (outFeatureSize)

### 重新运用定义编写卷积代码 ###

我们需要从卷积的定义出发，编写卷积函数。

Without feature_2_matrix process: 
    //  outpBox [out_ChannelNum][out_height][out_width] 
    //  +=weightIn[out_ChannelNum][in_ChannelNum][kernelWidth][kernelHeight] 
    //  *pboxIn[in_ChannelNum][width][height]

伪代码如上，这样，既不用滑窗函数，而且生成的output也可以被下层当作feature直接运用。

定义出发的卷积方便zynqNet改为FPGA内并行的结构。实现加速。

### 加入bias和ReLU ###

卷积后的过程并入卷积函数利用并行化，尽可能多的将任务给FPGA实现。

### 存储顺序 ###

![20190117095844260.png][]

#  四、硬件端 #

## 4.1 卷积IPcore ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6][]

卷积IPcore的实现参考zynqNet的结构，在DDR上搬运数据，传入BRAM上，然后通过并行实现加速。

关于IPcore的实现有很多内容，可以参考之前的博客

•Validated in MTCNN code 嵌入入MTCNN代码之中验证

•Validated in HLS test bench (C-simulation) 嵌入HLS的test Bench之中验证。也就是实现c仿真。

•Validated in synthesis and generate report 通过synthesisi和生成相应的报告

•Export RTL 输出RTL代码

•C-RTL co-simulation C与RTL协同仿真。

## 4.2 IPcore报告 ##

[https://blog.csdn.net/weixin\_36474809/article/details/85271940][https_blog.csdn.net_weixin_36474809_article_details_85271940]

### 时间资源 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7][]

zynqNet的时钟周期如下，基本与卷积IPcore为同一个数量级。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 8][]

从MACC的次数考虑

zynqNet的MACC次数固定为 : 152,731,648，整个网络运行时间为2s

MTCNN:

从43,543,288 到85,176,568

按照此时间预测，MTCNN的时间为：

From 0.57sec – 1.12sec

### 空间资源 ###

![20190117100812835.png][]

即使占用的资源比zynqNet少很多，但是MIZ7020平台上资源超出预期。

在7035平台上资源够用。

![20190117100926241.png][]

## 4.3 ARM端工作 ##

![20190117101028818.png][]

刚开始的MTCNN代码分开的开辟每层的卷积，对于调用IPcore来讲非常耗时。

所以需要更改为在DDR一次性的开辟所有的内存反复调用。

# 五、交接后续需要的工作 #

模型压缩，使资源可以在7020平台上运行

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20220326/b4193bbeedee4df48857f548f07fa18c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220326/b42bb744c168431b8c60cacb9d4d087c.png
[20190117090730913.png]: /images/20220326/ef0ddd23325d4ace857263a15b8c8bb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220326/6ab23a0a4948495b81a5ac4dc7d32a53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220326/46ddaf18ba084310beda138851361f62.png
[20190117091649273.png]: /images/20220326/ba66282acf0c4e39b4a727f649594ec5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20220326/4c2befef7ba84035a3222c2938363d08.png
[20190117091828842.png]: /images/20220326/118e2d66c7cc4094a59635b216a650f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20220326/e0cc7e408c374f69bbba780881f95d8b.png
[2019011709203924.png]: /images/20220326/894335939b114d28a0b03de4c026e55c.png
[https]: https://blog.csdn.net/weixin_36474809/article/details/85990687
[20190117092445310.png]: /images/20220326/26af30ca96e4490bac73d5931d61471d.png
[20190117092506478.png]: /images/20220326/d35d8ef803834cbb90c1e7235a56dcce.png
[20190117092549879.png]: /images/20220326/f897e715d7e0405eae80e7b5b60e0eeb.png
[20190117095844260.png]: /images/20220326/e40a05ee9d2d4bb7acc383aec885c445.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 6]: /images/20220326/4539d9f3a4f24566abb3ab08bd4292bf.png
[https_blog.csdn.net_weixin_36474809_article_details_85271940]: https://blog.csdn.net/weixin_36474809/article/details/85271940
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 7]: /images/20220326/7069db49f00a45bd9678c4c0988e1bf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 8]: /images/20220326/127fde30fb3a45468e414d98639f130c.png
[20190117100812835.png]: /images/20220326/c15d7a9a4d744c9cb951e6165566c268.png
[20190117100926241.png]: /images/20220326/5024516ff1584289a43723341be0d9a9.png
[20190117101028818.png]: /images/20220326/b50a5f307f3841ccbcaa1005c3929255.png