超越卷积、自注意力机制：强大的神经网络新算子involution

柔光的暖阳◎ 2023-01-19 14:58 13阅读 0赞

超越卷积、自注意力机制：强大的神经网络新算子involution

### Image Classification on ImageNet ###

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>Params(M)</th> 
   <th>FLOPs(G)</th> 
   <th>Top-1 (%)</th> 
   <th>Top-5 (%)</th> 
   <th>Config</th> 
   <th>Download</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>RedNet-26</td> 
   <td>9.23(32.8%↓)</td> 
   <td>1.73(29.2%↓)</td> 
   <td>75.96</td> 
   <td>93.19</td> 
   <td><a href="https://github.com/d-li14/involution/blob/main/cls/configs/rednet/rednet26_b32x64_warmup_coslr_imagenet.py" rel="nofollow">config</a></td> 
   <td><a href="https://hkustconnect-my.sharepoint.com/:u:/g/personal/dlibh_connect_ust_hk/EWmTnvB1cqtIi-OI4HfxGBgBKzO0w_qc3CnErHhNfBitlg?e=XPws5X" rel="nofollow">model</a>&nbsp;|&nbsp;<a href="https://hkustconnect-my.sharepoint.com/:u:/g/personal/dlibh_connect_ust_hk/EVJ_eDMSsr1JqhInx67OCxcB-P54pj3o5mGO_rYVsRSk3A?e=70tJAc" rel="nofollow">log</a></td> 
  </tr> 
  <tr> 
   <td>RedNet-38</td> 
   <td>12.39(36.7%↓)</td> 
   <td>2.22(31.3%↓)</td> 
   <td>77.48</td> 
   <td>93.57</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关卷积神经网络

在介绍卷积神经网络之前我们先了解一下为什么不使用我们上一节介绍的神经网络（全连接层结构）来处理图像。使用全连接层结构处理图像时会出现以下问题：输入图像需要将图像通过

曾经终败给现在/ 2024年02月17日 08:44/ 0 赞/ 103 阅读

相关卷积神经网络的直观解释，卷积神经网络基础

什么是卷积神经网络?它们为什么重要? 卷积神经网络(ConvNets或CNNs)是一类在图像识别和分类等领域非常有效的神经网络。除了增强机器人和自动驾驶汽车的视觉功能外，

小咪咪/ 2023年07月04日 03:26/ 0 赞/ 166 阅读

相关超越卷积、自注意力机制：强大的神经网络新算子involution

超越卷积、自注意力机制：强大的神经网络新算子involution Image Classification on ImageNet <table> <thea

柔光的暖阳◎/ 2023年01月19日 14:58/ 0 赞/ 14 阅读

相关 involution：比卷积、自注意力机制更好的神经网络新算子

文自 | 机器之心作者 | 李铎作者李铎：这篇工作主要是由我和SENet的作者胡杰一起完成的，也非常感谢HKUST的两位导师陈启峰和张潼老师的讨论和建议。本文是对

拼搏现实的明天。/ 2022年11月15日 11:52/ 0 赞/ 149 阅读

相关神经网络-卷积神经网络

卷积神经网络最基本的操作：卷积、池化、全连接 1、卷积操作什么是卷积操作？我们先定义一个目的，让卷积神经网络去识别数字 “17” 和字母 “L”。有三张图片，

小鱼儿/ 2022年11月12日 01:41/ 0 赞/ 382 阅读

相关 CVPR 2021 | 超越卷积，自注意力模型HaloNet准确率实现SOTA

选自arXiv 作者：Ashish Vaswani等机器之心编译编辑：小舟 > 来自谷歌研究院和 UC 伯克利的研究者开发了一种新的自注意力模型，该模型可以超越标准

我会带着你远行/ 2022年10月07日 06:48/ 0 赞/ 49 阅读

相关 CVPR 2021 | 超越卷积，自注意力模型HaloNet准确率实现SOTA

[https://github.com/lucidrains/halonet-pytorch][https_github.com_lucidrains_halonet-

冷不防/ 2022年08月30日 04:20/ 0 赞/ 147 阅读

相关卷积神经网络

卷积神经网络转载请注明：http://blog.csdn[.NET][]/stdcoutzyx/article/details/41596663 自今年七月份以来，一

川长思鸟来/ 2022年07月14日 21:25/ 0 赞/ 424 阅读

相关卷积神经网络

概述简单描述首先介绍神经网络的参数。这些参数是由一些可学习的滤波器集合构成的，每个滤波器在空间上（宽度和高度）都比较小`个人觉得这个滤波器就是卷积核`，但是深度和

浅浅的花香味﹌/ 2022年05月31日 13:59/ 0 赞/ 409 阅读

相关卷积神经网络

[卷积神经网络][Link 1] 在上篇中介绍的输入层与隐含层的连接称为全连接，如果输入数据是小块图像，比如8×8，那这种方法是可行的，但是如果输入图像是96×96，

曾经终败给现在/ 2021年12月09日 14:55/ 0 赞/ 571 阅读