Xilinx zynq系列FPGA实现神经网络中相关资源评估

妖狐艹你老母 2022-05-21 07:38 258阅读 0赞

相关内容：

[深鉴科技DNNDK概览 ][DNNDK_]

[Xilinx zynq系列FPGA实现神经网络中相关资源评估 ][Xilinx zynq_FPGA_]

**目录**

zynq7000系列概览

1.内存占用

1.1 FPGA程序中内存的实现方式

1.2  zynq的BRAM内存大小

1.3.一个卷积操作占用的内存

2. PipeCNN可实现性

PipeCNN论文解析：用OpenCL实现FPGA上的大型卷积网络加速

2.1 已实现的PipeCNN资源消耗

3. 实现大型神经网络的方法

4. Virtex-7高端FPGA概览

7系列FPGA相关文档

--------------------

### zynq7000系列概览 ###

![70][]

# **1.内存占用** #

## **1.1 FPGA程序中内存的实现方式** ##

参阅xilinx文档UG998

![70 1][]

[参见FPGA基础知识（一）UG998相关硬件知识][FPGA_UG998] 中的**Memory archicture and layout**

FPGA并没有像软件那样用已有的cache，FPGA的HLS编译器会在FPGA中创建一个快速的memory architecture以最好的适应算法中的数据样式（data layout）。因此FPGA可以有相互独立的不同大小的内部存储空间，例如寄存器，移位寄存器，FIFOs和BRAMs。

**寄存器：**最快的内存结构，集成在在运算单元之中，获取不需要额外的时延。

**移位寄存器：**可以被当作一个数据序列，每一个数据可以在不同的运算之中被重复使用。将其中所有数据移动到相邻的存储设备中只需要一个时钟周期。

**FIFO：**只有一个输入和输出的数据序列，通常被用于循环或循环函数，细节会被HLS编译器处理。

**BRAM：**集成在FPGA fabric模块中的RAM，每个xilinx的FPGA中集成有多个这样的BRAM。可以被当作有以下特性的cache: 1.不支持像处理器cache中那样的缓存一致性（cache coherency,collision）,不支持处理器中的一些逻辑类型。2.只在设备有电时保持内存。3.不同的BRAM块可以同时传输数据。

## **1.2  zynq的BRAM内存大小** ##

![70 2][]

zynq 7z020的BRAM为4.9Mb，7z035的BRAM为17.6Mb（2.2MB）

![70 3][]

## **1.3.一个卷积操作占用的内存** ##

例如，我们实现的卷积函数，输入27×600，卷积核16×27，输出16×600，数据类型为float。

//convolution operation
            for (i = 0; i < 16; i++) {
    		for (j = 0; j < 600; j++) {
    			result = 0;
    			for (k = 0; k < 27; k++) {
    				temp = weights[i*27+k] * buf_in[k*600+j];
    				result += temp;
    			}
    			buf_out[i*600+j] = result;
    		}
    	}

在HLS中生成的IPcore占用硬件资源为

![70 4][]

![70 5][]![70 6][]

在vivado中搭建好系统，占用的资源为：

![70 7][]![70 8][]

# 2. PipeCNN可实现性 #

PipeCNN是一个基于OpenCL的FPGA实现大型卷积网络的加速器。

PipeCNN解析文档：

# [PipeCNN论文解析：用OpenCL实现FPGA上的大型卷积网络加速][PipeCNN_OpenCL_FPGA] #

github地址： https://github.com/doonny/PipeCNN\#how-to-use

## 2.1 已实现的PipeCNN资源消耗 ##

对于Altera FPGA，运用 [Intel's OpenCL SDK][Intel_s OpenCL SDK] v16.1 toolset.

对于Xilinx FPGAs, the [SDAccel][] development environment v2017.2 can be used.

![70 9][]

Xilinx's [KCU1500][] (XCKU115 FPGA)（已经有xilin的板子实现过pipeCNN，但是型号比zynq高很多）

![70 10][]

硬件资源可以被三个宏调控，*device/hw\_param.cl*. Change the following macros

*  VEC\_SIZE
 *  LANE\_NUM
 *  CONV\_GP\_SIZE\_X

消耗资源为  
![70 11][]

![70 12][]

# 3. 实现大型神经网络的方法 #

**方案一：压缩模型到<2.2MB，可实现在BRAM中**

优点：1.速度快 2.实现方便

缺点：1.模型压缩难度 2.难以实现大型网络

**方案二：用FPGA调用DDR**

优点：1.速度中等 2.可实现大型网络

缺点：调用DDR有难度，开发周期长

**方案三：用片上单片机调用DDR（插入SD卡）分包传入IPcore运算**

优点：可实现大型网络

缺点：速度较慢

# 4. Virtex-7高端FPGA概览 #

Virtex-7为高端FPGA，比zynq高了一个档次。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

#  7系列FPGA相关文档 #

![20190102155753130.png][]

相关内容：

[深鉴科技DNNDK概览 ][DNNDK_]

[Xilinx zynq系列FPGA实现神经网络中相关资源评估 ][Xilinx zynq_FPGA_]

[DNNDK_]: https://blog.csdn.net/weixin_36474809/article/details/82585091
[Xilinx zynq_FPGA_]: https://blog.csdn.net/weixin_36474809/article/details/80894801
[70]: /images/20220521/1615a5fcfa1840b698bd0970121be199.png
[70 1]: /images/20220521/9046014a1bc14b01b18cf5a82644f0db.png
[FPGA_UG998]: https://blog.csdn.net/weixin_36474809/article/details/80593922
[70 2]: /images/20220521/411cf04e5f834e4480187bcd60af0a6b.png
[70 3]: /images/20220521/81e9c12f6abe49f3b1ee70c96d12a61d.png
[70 4]: /images/20220521/582e8d2d10e04646af2c62d397e23c82.png
[70 5]: https://img-blog.csdn.net/20180703151211238?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: /images/20220521/4831eef496e44de2a468e6bf0e89f9e4.png
[70 7]: https://img-blog.csdn.net/20180703151510102?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 8]: /images/20220521/96a2899c0f904769922a9c70e84792b1.png
[PipeCNN_OpenCL_FPGA]: https://blog.csdn.net/weixin_36474809/article/details/80900197
[Intel_s OpenCL SDK]: https://www.altera.com/products/design-software/embedded-software-developers/opencl/overview.html
[SDAccel]: https://www.xilinx.com/products/design-tools/software-zone/sdaccel.html
[70 9]: /images/20220521/67d315303ed546d4aca7901a0d99d80a.png
[KCU1500]: https://www.xilinx.com/products/boards-and-kits/dk-u1-kcu1500-g.html
[70 10]: /images/20220521/8b1879597d734b8c8c9bb7ca5a6de285.png
[70 11]: /images/20220521/ef764d19664a4a279f810f7675755f32.png
[70 12]: /images/20220521/79320a43ea624bfbb31b38b0ee915e89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20220521/be9e33cda9f1422187fccd4bdf1288ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220521/21cfa8c1027f4891997c78e45baffbe0.png
[20190102155753130.png]: /images/20220521/f92f890ae64d4167a694b8e0eb12a7ee.png