卷积IPcore详细报告及进展

╰+攻爆jí腚メ 2022-04-02 14:50 398阅读 0赞

**目录**

一、IPcore代码概览

1.1 接口

1.2 功能

1.3 时间与空间资源

1.3.1 空间资源

1.3.2 时间资源

二、IPcore正确性及验证

2.1 IPcore在MTCNN之中的调用

2.2 IPcore的testBench与c-simulation

2.3 synthesis与RTL输出

2.4 系统搭建与烧录

三、SDK端的调用

3.1 初始化IPcore

3.2 判断IPcore是否完成

3.3 运行情况

3.4 IPcore问题总结

四、与zynqNet的对比

4.1 一次卷积HLS的时钟周期

4.2 MACC操作的次数

--------------------

# 一、IPcore代码概览 #

## 1.1 接口 ##

//----------------convolution in FPGA-----------------------------------  
int convolution\_3x3(int inHight,int inWidth,int inChanNum,int outHight,int outWidth,int OutChanNum,  
                     int stride,  
                     volatile float \*weight\_ptr,volatile float \*input\_ptr,volatile float \*output\_ptr)\{  
\#pragma HLS INTERFACE s\_axilite port=inHight bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=inWidth bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=inChanNum bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=outHight bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=outWidth bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=OutChanNum bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=stride bundle=axilite  
\#pragma HLS INTERFACE s\_axilite port=return bundle=axilite  
\#pragma HLS INTERFACE m\_axi depth=DRAM\_DEPTH port=weight\_ptr offset=slave bundle=memorybus  
\#pragma HLS INTERFACE m\_axi depth=DRAM\_DEPTH port=input\_ptr offset=slave bundle=memorybus  
\#pragma HLS INTERFACE m\_axi depth=DRAM\_DEPTH port=output\_ptr offset=slave bundle=memorybus

接口描述：

**软件端：**通过函数接口传入参数，实现卷积运算。

**硬件端：**通过axi-lite协议将神经网络的参数通过ARM传入IPcore；

通过m-axi用IPcore从DRAM上获取相应的权重，特征以及写出卷积输出到DRAM上。

## 1.2 功能 ##

用FPGA加速实现MTCNN之中的3\*3卷积。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

## 1.3 时间与空间资源 ##

### 1.3.1 空间资源 ###

下图为IPcore在7z035上占用的资源，在7z020上资源超出预期。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

### 1.3.2 时间资源 ###

因卷积为变长卷积，所以我们以Pnet的第一层输入为准来确定相应的时钟周期（Pnet的输入与Rnet和Onet不同，Pnet输入没有resize来缩减尺寸，因此卷积尺寸较大且较为耗时，Pnet第一层在单片机端卷积的模拟为数秒左右）。

卷积尺寸：输入640\*480\*3，输出尺寸640\*480\*10，权重尺寸 3\*3\*3\*10

时钟周期：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

总体的latency与II并不大，表明并行是有效果的。

# 二、IPcore正确性及验证 #

## 2.1 IPcore在MTCNN之中的调用 ##

直接在mtcnn之中调用IPcore的c代码，每次3\*3的卷积都对IPcore的c代码进行一次调用，例如：

convolution\_3x3(this->rgb->height,this->rgb->width,this->rgb->channel,  
                    this->conv1\_out->height,this->conv1\_out->width,this->conv1\_out->channel,  
                    this->conv1\_wb->stride,  
                    this->conv1\_wb->pdata,this->rgb->pdata,this->conv1\_out->pdata);

经过调用之后的mtcnn能正确运行且产生正确的结果。

## 2.2 IPcore的testBench与c-simulation ##

编写testBench，将IPcore代码独立出来进行验证。且与卷积结果进行对比。无误，证明IPcore的代码可以独立出MTCNN的代码进行synthesis。

## 2.3 synthesis与RTL输出 ##

IPcore的c代码输出及RTL输出正常无报错。

## 2.4 系统搭建与烧录 ##

系统搭建validate未见异常，比特流生成正常，比特流通过SDK软件烧入FPGA正常。

# 三、SDK端的调用 #

## 3.1 初始化IPcore ##

通过HLS驱动来初始化IPcore及开始IPcore

//set conv IPcore value  
    XConvolution\_3x3\_Set\_inHight(&XConvolution\_3x3\_Core,featureIn.height);  
    XConvolution\_3x3\_Set\_inWidth(&XConvolution\_3x3\_Core,featureIn.width);  
    XConvolution\_3x3\_Set\_inChanNum(&XConvolution\_3x3\_Core,featureIn.channel);  
    XConvolution\_3x3\_Set\_outHight(&XConvolution\_3x3\_Core,conv\_PL\_out.height);  
    XConvolution\_3x3\_Set\_outWidth(&XConvolution\_3x3\_Core,conv\_PL\_out.width);  
    XConvolution\_3x3\_Set\_OutChanNum(&XConvolution\_3x3\_Core,conv\_PL\_out.channel);  
    XConvolution\_3x3\_Set\_stride(&XConvolution\_3x3\_Core,weightIn.stride);  
    XConvolution\_3x3\_Set\_weight\_ptr(&XConvolution\_3x3\_Core,(unsigned int)weightIn.pdata);  
    XConvolution\_3x3\_Set\_input\_ptr(&XConvolution\_3x3\_Core,(unsigned int)featureIn.pdata);  
    XConvolution\_3x3\_Set\_output\_ptr(&XConvolution\_3x3\_Core,(unsigned int)conv\_PL\_out.pdata);  
    printf("Set conv parameters SUCCESS!\\n");

//conv in PL  
    XConvolution\_3x3\_Start(&XConvolution\_3x3\_Core);  
    printf("IPcore conv start SUCCESS!\\n");

## 3.2 判断IPcore是否完成 ##

for(int cur\_sleep\_times=0;cur\_sleep\_times<20;cur\_sleep\_times++)\{  
        if(!XConvolution\_3x3\_IsDone(&XConvolution\_3x3\_Core))\{  
            printf("IPcore Not Done! current sleep times is %d \\n",cur\_sleep\_times);  
        \}  
        else\{  
            printf("IP core Done SUCCESS!");  
            break;  
        \}

usleep(1000\*7);//7 mlili second  
    \}

isDone变为1表示IPcore正常运行结束。

## 3.3 运行情况 ##

小尺寸卷积正常运行

--------------program start-------------  
init network parameters run time is 0.000474 mili second  
Output variable init SUCCESS!  
Write conv data to DRAM run time is 2.690571 mili second  
Initialize XConvolution\_3x3\_Core IPcore SUCCESS!  
\---------print IP core value---------  
IP core return is 0  
IP core isDone is 0  
IP core get inHight is 5  
IP core get weight prt is 1000000  
Set conv parameters SUCCESS!IPcore conv start SUCCESS!  
\---------print IP core value---------  
IP core return is 0  
IP core isDone is 1  
IP core get inHight is 5  
IP core get weight prt is 1000000  
Strat again SUCCESS!  
IP core Done SUCCESS!  
Input\_Pixels is 50 and hex memory size is 000000c8  
weight\_pixels is 36 and hex memory size is 00000090  
Output\_Pixels is 18 and hex memory size is 00000048  
Input pointer value is 01000090  
Weight pointer value is 01000000  
Output PS pointer value is 010000d8  
InputSize is    5, In\_channels   is   2, Input\_Pixels  is  50  
OutputSize is   3, Out\_channels  is   2, Output\_Pixels is  18  
Stride   is     1, weight\_pixels is  36  
\------------Program End SUCCESS!-----------

卷积尺寸较大时导致单片机死机，例如下面这个尺寸：

InputSize is   23, In\_channels   is  32, Input\_Pixels  is 16928  
OutputSize is  21, Out\_channels  is  64, Output\_Pixels is 28224  
Stride   is     1, weight\_pixels is 18432

Input\_Pixels is 16928 and hex memory size is 00010880  
weight\_pixels is 18432 and hex memory size is 00012000  
Output\_Pixels is 28224 and hex memory size is 0001b900  
Input pointer value is 01012000  
Weight pointer value is 01000000  
Output PS pointer value is 0102d900

## 3.4 IPcore问题总结 ##

IPcore对DDR的指针无法与单片机共享，因为小尺寸卷积输出写入DDR的值单片机无法读出。

IPcore实现尺寸较大卷积会导致单片机死机。

# 四、与zynqNet的对比 #

## 4.1 一次卷积HLS的时钟周期 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4][]

下面为zynqNet的时钟周期：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5][]

## 4.2 MACC操作的次数 ##

全局变量的增加：在fpgaAcc.cpp之中，加入extern int，然后在pikaqiu中程序之外定义全局变量int。

MTCNN选用一张：85,176,568   为10^7数量级

另一张：43,543,288为 10^7数量级

zynqNe的MACC次数为: 152,731,648 ,为10^8数量级

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20220402/e7df786a11234fbd8a79fd18ff880c09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220402/073e8c3d507641de957bb14512b12d3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220402/8e2e0188cee24421acba9f6c26aecdd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220402/ef66d29858f843a79837dcc575f2d01c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 4]: /images/20220402/7b9526f7bd1c47d4aa4e4e5a676c1126.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 5]: /images/20220402/2945f1047d064ab7aa8cf1ac5492f05f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，398人围观）

还没有评论，来说两句吧...

相关阅读

相关反卷积(Transposed Convolution)详细推导

0、简介问题：计算机视觉中的反卷积(deconvolution)是使用了独立的可训练参数还是把前面的卷积核转置？关于计算机视觉中的反卷积（deconvolution）还

今天药忘吃喽~/ 2023年02月16日 01:54/ 0 赞/ 137 阅读

相关卷积原理：几种常用的卷积（标准卷积、深度卷积、组卷积、扩展卷积、反卷积）

0、标准卷积默认你已经对卷积有一定的了解，此处不对标准卷积细讲。举个例子，假设有一个`3×3`大小的卷积层，其输入通道为`16`、输出通道为`32`。那么一般

太过爱你忘了你带给我的痛/ 2023年02月15日 12:44/ 0 赞/ 115 阅读

相关空洞卷积的超详细解释

目录什么是空洞卷积为什么需要空洞卷积卷积的问题空洞卷积的好处总结空洞卷积存在的问题潜在

桃扇骨/ 2022年10月23日 08:20/ 0 赞/ 354 阅读

相关卷积与反卷积

反卷积与卷积反卷积，顾名思义是卷积操作的逆向操作。为了方便理解，假设卷积前为图片，卷积后为图片的特征。卷积，输入图片，输出图片的特征，理论依据是统计不

￡神魔★判官ぃ/ 2022年06月04日 05:25/ 0 赞/ 352 阅读

相关卷积函数的FPGA实现（一）编写卷积IPcore的BRAM实现

背景：我们将MTCNN的卷积改为了zynqNet需要的嵌套的for循环形式，并且相对看懂了相应的zyqnNet的c代码，现在我们可以直接将卷积模块单独拆分出来构建一个IPcor

刺骨的言语ヽ痛彻心扉/ 2022年04月22日 05:56/ 0 赞/ 274 阅读

相关卷积函数的FPGA实现（五）对IPcore进行HLS及bug查找

背景：我们编辑了3x3卷积的IPcore，并完成了预编译。程序通过调用3\3卷积的IPcore实现运行。并通过HLS预编译指令实现为硬件结构，现在我们需要对IPcore程序进行

青旅半醒/ 2022年04月11日 09:28/ 0 赞/ 1967 阅读

相关卷积函数的FPGA实现（六）对IPcore进行HLS及RTL输出

背景：MTCNN的卷积被实现为IPcore 目的：HLS通过IPcore，输出RTL 目录一、删掉一些语句二、加回DATAFLOW与UNROLL 2.1 N\_P

﹏ヽ暗。殇╰゛Y/ 2022年04月05日 13:44/ 0 赞/ 667 阅读

相关卷积原理：几种常用的卷积（标准卷积、深度卷积、组卷积、扩展卷积、反卷积）

转载自：[https://blog.csdn.net/chenyuping333/article/details/82531047?utm\_source=blogxgwz6]

太过爱你忘了你带给我的痛/ 2022年04月04日 03:22/ 0 赞/ 804 阅读

相关卷积IPcore详细报告及进展

目录一、IPcore代码概览 1.1 接口 1.2 功能 1.3 时间与空间资源 1.3.1 空间资源 1.3.2 时间资源二、IPcore正确性及验证 2

╰+攻爆jí腚メ/ 2022年04月02日 14:50/ 0 赞/ 399 阅读

相关卷积函数的FPGA实现（八）IPcore的BRAM尺寸及加入偏置和ReLU

背景：第一次编写的IPcore存在问题，没有加入偏置与ReLU 目的：给IPcore加入偏置和ReLU。一、最终BRAM尺寸的确定 1.1 IBRAM

淡淡的烟草味﹌/ 2022年04月02日 09:10/ 0 赞/ 227 阅读