存内计算——发展史与近期成果

电玩女神 2024-04-06 15:15 38阅读 0赞

存内计算的概念早在上个世纪就已经被提出，但当时的人们寄希望于通过优化处理器设计以及工艺制程的升级，来获得性能和能效比的提升，存内计算的研究仅停留在理论阶段。随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。

**一.存内计算构想**

存内计算这个概念早在**1969年**就有人提出。当时，**斯坦福研究所**的**Kautz**等人发表的一篇**《Cellular Logic-in-Memory Arrays》首次将存储和逻辑整合**，提出“logic-in-memory”方案\[1\]，文中提出设计出一种细胞逻辑存储器（CLIM）阵列，在这一阵列中的基本门和连接方式可以通过“编程”来实现所需的逻辑操作，也即最早的“存储-逻辑一体”。如下图1为文中设计的一种“存储-逻辑一体”阵列及其实现的逻辑功能。

![2fdb38df69165e951b3d64314cf8720a.png][]

图 1 一种“存储-逻辑一体”阵列\[1\]

紧接着在**1970年**，来自**斯坦福大学**的**Stone**等人发表论文，设计了**支持逻辑运算的存储计算架构**。但总的来说，在上世纪七八十年代，**处理器的性能瓶颈、存储墙、功耗墙等问题并不突出**，牵制计算性能的是不够强劲的处理器，并且由于彼时摩尔定律还未“失效”，人们更期望通过工艺制程的升级获取能效比的提升，因此**人们更多关注的是如何提升CPU性能，并没有在存内计算架构上做更多的文章与更深的研究**。

1997年，**加州大学伯克利分校**的**Patterson**等人将**处理器集成在DRAM**上，实现了存储与计算的结合，但在这一时期，存内计算也仅仅停留在尖端实验室的理论研究阶段，并没有落地市场实际应用。

近年来，随着大数据、人工智能等应用的兴起以及摩尔定律的“失效”，英伟达、三星等世界知名的IC企业与高效都已将目光转向存内计算，并已有广泛布局和应用落地，目前，存内计算已成为“兵家必争之地”，在AI时代如何实现性能、算力、功耗的突破？存内计算，或许是一个可靠的答案。

**二、近代的存内计算**

2010年后，大数据驱动应用发展迅猛，数据量呈现指数级暴增\[2\]。**Nvidia**的首席科学家**Bill Dally**在2015年的主题为“Nvidia's Path to Exascale”的演讲中指出，DRAM与CPU之间的数据传输耗能是单纯双精度浮点数加法耗能的1000倍\[3\]，**数据传输带来的能耗成为此时计算能耗的主体部分**，成为牵制大数据量计算能效的新瓶颈。

与此同时，**新型存储器件迅猛发展**，包括3D堆叠的存储器件，如**HMC/****HBM**和**3D XPoint**；以及交叉栅栏式(crossbar)结构的非易失性存储器件，如**RRAM**和**PCM**。这样的非易失性存储器和传统DRAM结构相比，具有存储密度高和静态功耗低的优点，同时其**特殊的物理结构为存储和计算相结合提供了支持**\[2\]。

因此，研究者们考虑赋予内存一定的计算能力，从而减少数据移动，降低计算机系统运行能耗，存内计算在2010年后重新被研究者重视。

2010年，**惠普实验室**的**Williams**教授团队用**忆阻器**实现简单布尔逻辑功能。新型存储器的快速发展为存内计算奠定了技术基础。随着深度学习热潮的到来，存内计算由于其结构特点，被认为具有加速深度学习运算的能力，高校开始了存内计算的相关研究，国外开始出现以存内计算为卖点的处理器制造公司，如**Mythic**。2010年至2015年，可以认为是存内计算的技术积累阶段。

2016年至2020年，学术界在存内计算各个领域的研究取得进展。2016年，郭昕婕博士（现知存科技首席科学家）在**美国加州大学圣塔芭芭拉分校（UCSB）**的**谢源教授团队，**研发出全球第一个3层神经网络的浮栅存内计算深度学习芯片（PRIME架构），首次验证了基于浮栅晶体管的存内计算在深度学习应用中的效用。相较于传统冯诺伊曼架构的传统方案，PRIME可以实现功耗降低约20倍、速度提升约50倍，引起产业界广泛关注。随着人工智能等大数据应用的兴起，存算一体技术得到国内外学术界与产业界的广泛研究与应用。随后，诸如PRIME、ISAAC等基于**乘累加**的存内计算架构以及基于**逻辑**操作、**搜索**操作的存内计算相关研究被提出\[2\]。

在2017年微处理器顶级年会（Micro 2017）上，包括英伟达、英特尔、微软、三星、加州大学圣塔芭芭拉分校等都推出了他们的存内计算系统原型\[5\]。也就是在2017年，郭昕婕就进一步攻下7层神经网络的浮栅存内计算深度学习芯片，同年归国联合创立知存科技，是国内最早成立的存内计算芯片公司。

2018年的集成电路领域顶会ISSCC专门用了一个议程来研讨存内计算相关话题；到2019年，电子器件领域的顶级会议IEDM上关于存内计算的研讨议程则变成了三个，相关论文也达到**二十余篇**；2020年的ISSCC上存内计算的论文也上升至七篇\[6\]，足见存内计算在学术界的地位正在不断提升，相关学术成果为后续存内计算产品的井喷奠定了坚实的基础。**九天睿芯****、后摩智能**等**国内AI****芯片****公司在此期间成立**，并开始技术积累。

![bda142f767b40ee4ef7d9766f42148c5.png][]

图 2 PRIME架构示意图\[4\]

2021年开始，存内计算相关产品逐步落地。包括三星、海力士、TSMC在内的国际巨头以及Mythic等公司经过技术沉淀，已经开始试产存内计算芯片，三星展示了基于**HBM****2-****PIM**技术的存内计算芯片、海力士展示了**GDDR****6-****AiM**的样品，TSMC展示了其在SRAM、ReRAM、PCM、STT-MRAM等多种器件上实现存内计算的探索成果。存内计算产业化初见成果，越来越多的存内计算产品落地。美国处理器公司Mythic推出M1076处理器，采用模拟存内计算方案，存储介质为Flash，在40nm制程工艺下实现25TOPS的算力与3W的功耗；2022年国内知存科技推出首款量产存内计算SOC芯片WTM2101，采用模拟存算计算范式，以Flash为介质，在40nm成熟工艺下以2.6x3.2mm²极小封装实现了50Gops的高算力，功耗低至5uA.**已商用**至智能可穿戴设备中2023年**后摩智能**推出**鸿途H30芯片**，采用数字存算计算范式，以SRAM为介质，实现256TOPS的算力与35W的功耗\[8\]。

![ff9ada79db42b90e82392abed383a687.png][]

图 3 后摩鸿途H30芯片示意图\[8\]

在高校科研方面，**清华大学集成电路学院教授吴华强、副教授高滨团队**基于存内计算计算范式，研制出全球首颗全系统集成的、支持高效片上学习的**忆阻器（****RRAM）****存内计算****芯片**。该研究成果以**《****面向边缘学习的全集成类脑忆阻器芯片****》**为题在线发表在**《Science》**上\[9\]。**北京大学集成电路学院与人工智能研究院黄如院士课题组**基于存内计算技术，提出高效的**无****ADC架构SRAM存内计算加速引擎**，并在ISSCC 2022上发表文章\[10\]。

#### CSDN首个存内计算开发者社区来了，基于各界产学研存内技术研究，涵盖最丰富的存内计算内容，以存内技术为核心，史无前例的技术开源内容，囊括云/边/端侧商业化应用解析以及AI时代新技术趋势洞察等， 邀请业内大咖定期举办存内workshop，实战演练体验前沿架构；从理论到实践，做为最佳窗口，存内计算让你触手可及。 ####

#### 传送门：[https://bbs.csdn.net/forums/computinginmemory?category=10003][https_bbs.csdn.net_forums_computinginmemory_category_10003]； ####

####  ####

####  **首个存内计算开发者社区，现0门槛新人加入，发文享积分兑超值礼品；** ####

####  存内计算先锋/大使在社区投稿，可获得双倍积分，以及社区精选流量推送； ####

####  此外，您的精选文章可获得社区奖金激励800，可获得线下训练营的免费名额以及存内主题活动大咖交流机会； ####

####  社区优先赠送存内计算技术与应用精选论文，[https://github.com/CIMDeveloper/CIM-Files][https_github.com_CIMDeveloper_CIM-Files]，请查收~ ####

![000a003042b6c92328154dff221c792b.jpeg][]

**三、存内计算发展方向**

现如今存内计算技术已经具有非常广阔的应用场景和广泛的发展方向，下面简单列举部分**存内计算技术的研究热点**。

（1）视频实时处理

**视频实时处理**是存内计算技术的一大应用方面，移动端设备（手机、无人机、手持设备）受限于散热，传统视觉芯片无法支持高标准的实时处理。存内计算技术的高带宽、高算力等特点，使得其在新型视觉芯片的研发上具有天然优势。在研究成果方面，国内**知存科技**推出**WTM-8系列产品芯片**，这是针对视频增强处理的一款高性能低功耗的移动设备计算AI视觉芯片，采用第二代3D存内计算架构，为**全球****首款存内计算视觉芯片**，已完成投片即将量产，具备高算力、低功耗、高能效、低成本的核心优势，应用于高性能成像和空间计算\[11\]。

![ed0c6c48f6695a13eeeb2ffa5699783b.png][]

图 4 WTM-8系列芯片示意图\[11\]

（2）感存算技术

**感存算技术**实际上就是在存内计算技术中加上了传感，感存算一体架构为集**传感、储存和运算为一体**的架构，解决冯诺依曼架构的数据搬运的功耗瓶颈的同时与传感结合提升整体效率。在科研成果方面，中国工程院罗毅院士研究团队在中国工程院院刊**《****Engineering》**2022年第7期发表**《感存算一体化智能视觉芯片的展望》**一文，总结了感存算一体化智能成像系统中使用的两种不同类型的架构\[12\]。

![8bcba541e68966938d611761aab8590f.png][]

图 5铁电光伏传感器（左）及感存算一体神经网络电路（右）示意图

（3）类脑计算技术

**类脑计算**，顾名思义是像**“人脑”**一样思考，借鉴生物大脑的信息处理方式，以神经元与神经突触为基本单元，从结构与功能等方面模拟生物神经系统，进而构建“人造超级大脑”的新型计算形态。在科研成果方面，2019年8月1日，清华大学类脑计算研究中心施路平教授团队研发出世界首款异构融合类脑计算芯片，在**《Nature》**杂志上发表相关论文**《面向人工通用智能的异构“天机芯”芯片架构》**\[13\]。

除了以上研究热点，存内计算技术还有很多其他的研究应用方面，比如AI加速卡、3D存内计算芯片设计等。当然，存内计算技术还有很多可能的研究应用亟待发现，**期待存内计算真正全面走入我们生活中的一天**。

**资料来源**

\[1\] W. H. Kautz, “Cellular Logic-in-Memory Arrays,” *IEEE Trans. Comput.*, vol. C–18, no. 8, pp. 719–727, Aug. 1969.

\[2\] 毛海宇,舒继武,李飞等.内存计算研究进展\[J\].中国科学:信息科学,2021,51(02):173-205.

\[3\] in memory computing 存内计算是学术圈自娱自乐还是真有价值？ - 知乎 (zhihu.com)

\[4\] Chi P, Li S, Xu C, et al. Prime: A novel processing-in-memory architecture for neural network computation in reram-based main memory\[J\]. ACM SIGARCH Computer Architecture News, 2016, 44(3): 27-39.

\[5\] 陈巍：存算一体技术是什么？发展史、优势、应用方向、主要介质 - 知乎 (zhihu.com)

\[6\] 存内计算，走在爆发的边缘 – 澎湃新闻 (thepaper.cn)

\[7\] 沉寂近30年后火了！存内计算如何打破AI算力瓶颈？ - 知乎（zhihu.com）

\[8\] 后摩智能官网 （houmoai.com）

\[9\] 再添“芯”动能！清华团队发布最新Science-北京信息科学与技术国家研究中心 (tsinghua.edu.cn)

\[10\] 类脑智能芯片研究中心黄如院士 — 燕博南助理教授课题组在“存内计算AI芯片”领域取得重要研究成果-北京大学人工智能研究院 (pku.edu.cn)

\[11\] 知存科技官网 (witintech.com).

\[12\] Pan W, Zheng J, Wang L, et al. A future perspective on in-sensor computing\[J\]. Engineering, 2022, 14(7): 7797.

\[13\] 让自行车真正“自行” “天机芯”面向无限未来-清华大学官网 (tsinghua.edu.cn)

[2fdb38df69165e951b3d64314cf8720a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/928cb520fe0e4dc2b042a7c8934d3933.png
[bda142f767b40ee4ef7d9766f42148c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7bafcc17ab304b3489c5e12868281f56.png
[ff9ada79db42b90e82392abed383a687.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/365aeae896834a7f849930aae154e992.png
[https_bbs.csdn.net_forums_computinginmemory_category_10003]: https://bbs.csdn.net/forums/computinginmemory?category=10003
[https_github.com_CIMDeveloper_CIM-Files]: https://github.com/CIMDeveloper/CIM-Files
[000a003042b6c92328154dff221c792b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8189e888bffa4b0d92216f3d8c377624.jpeg
[ed0c6c48f6695a13eeeb2ffa5699783b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5ed71c0fb7334e8a8f5396000de9855f.png
[8bcba541e68966938d611761aab8590f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/851a964e0e0e46829cb281395b7d94f1.png