[paper reading] 译 + 注：如何阅读 Research Papers（Andrew Ng）

电玩女神 2023-02-26 10:21 9阅读 0赞

# \[paper reading\] 译 + 注 ：如何阅读 Research Papers（Andrew Ng） #

> 本文基于吴恩达老师 (Andrew Ng) 在 Stanford Deep Learning Lectures (cs230n) 的课程：YouTube链接[在此][Link 1]。翻译的原文链接[在此][Link 2]。
> 
> 本人根据自己的想法，在保留原文加粗部分的条件下，增加了一下其他的加粗，以方便阅读。
> 
> 此外，我根据课程做了一些笔记，也加到了文章中，作为补充（以引用格式注明）。
> 
> 最后，一些吴恩达老师提到但原文没有提到的内容，我放到了最后。
> 
> **允许转载，注明出处即可！**

--------------------

介绍机器学习和教育领域内公认的人物，如何通过已发表的研究论文（research papers）来获取知识。

“Wisdom is not a product of schooling but of the lifelong attempt to acquire it.” — Albert Einstein

### Introduction ###

在人工智能和机器学习领域中，**了解前沿研究人员的进展**是每位的机器学习从业人员都应该掌握的一项技能。

为了与时代保持同步，机器学习从业人员需要具有学术思维和习惯。 AI，ML和DL的发展日新月异，我们必须掌握知识，才能紧跟该领域的发展，而这些知识**只能通过研究 Research Papers 获得**。

**本文将指导你如何高效地研究论文，并提供以下内容：**

*  一种系统的阅读 Research Papers 的方法，以获取某领域的知识。
 *  如何恰当地 (properly) 阅读 Research Papers。
 *  有用的在线资源，可以帮助您搜索论文和关键信息。

> 对于那些想要了解本文中关键内容的人，请向下滚动至标题为 “**阅读Research Papers**” 的部分。

… … …… ……

### First, Who is Andrew Ng? ###

我在本文中提供的信息来自 [Stanford lecture taught by Andrew Ng][] 。 我还通过个人提示 (tips) 和来自互联网的资源，对本文中包含的信息进行了补充。

但是首先，要简单介绍一下 [Andrew Ng][]。

[吴恩达 (Andrew Ng) ][_Andrew Ng_] 可能是互联网上最著名的（也是最受关注）机器学习老师。 他还是 [Deeplearning.ai][] 和 [Coursera][] 的共同创始人。除了从事在线教育工作外，他还是 [Stanford University][] 的教授。

有关Ng Andrew的更多信息，仅需 [google search][] 即可。  
 … … …… ……  
一个人很自然地就会掌握周围人的技能和习惯，这就是为什么大多数博士生能够**高效且恰当**地消化 Research Papers 的内容。 这在某种程度上是事实，Andrew在视频一开始就提到了这一点。

但是我们不是博士生，我们普通人如何学习到这些技巧，去阅读 Research Papers 并完全理解其内容？  
 … … …… ……

### Reading Research Papers ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center]  
如果您有才华，那么在机器学习领域内的**专业化 (Specialization) 将非常有用 (favourable) 。 例如，具有计算机视觉领域的通才知识 (generalist knowledge)** 是值得称赞的，但是在**关键技术**，比如姿态估计 (pose estimation) 中具有**专业知识和精通能力 (specialized knowledge and expertise)** 将对在该领域的公司和组织更具吸引力。

因此，让我们以“姿势估计”为例子，介绍如何进行 (approach) 与姿势估计相关的 Research Papers 。

1、**收集针对主题的资源。 形式可以包括研究论文，媒体文章，博客，视频，GitHub仓库等。**

一次对于“姿势估计”的 [google search][google search 1] 就能获得关于该主题的 top 资源。

在刚开始的这一步，目标是**整理所有相关资源**，例如YouTube视频，实施文档 (implementation documentations) ，当然还有 Research Papers。 理想情况下，在此阶段，不用限制重要资源的数量，但是一定要**创建有用的论文，视频和文章的清单**。

2、**在下一步中，就要对你认为与主题相关的任何资源进行深入研究 (deep dive)。 至关重要的是，有一种方法可以记录对每个资源的理解程度 (track the understanding of each shortlisted resources)。 Andrew Ng建议根据理解水平，去绘制一个资源表格，其外观类似于下表：**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 1]

对于每个资源，建议最少的至少**10％至20％的内容， 以确保接触到足够的介绍性内容**，并且能够**准确地评估其相关性**。

对于**更相关的论文/资源**，最好有**更高的理解水平**。 最终，您将确定一些适当的资源，并**完全理解其内容**。

您可能会问自己：“多少论文/资源就足够了”。我没有答案，但是 Andrew Ng 有答案。

据 Andrew Ng 说，理解**5到20篇**论文就能够建立对该主题的**基本理解**，或许也足够去**完成一些 techniques**。**50-100篇论文**就能够对该领域建立**很好的理解**。

在浏览完资源并提取了重要信息之后，您的表格可能看起来像下面这样：

> 吴恩达老师还提到了“skip around the list”，即在列表中跳着读。
> 
> 这其实是一种更灵活的阅读方式。而相比于死板的阅读方式，根据实际情况灵活选择阅读方式，可能会取得更好的效果！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 2]

3、**第三步是我理解论文时有用的 quick tip。 第三步是进行结构化注释 (structured notes)，用自己的话总结论文中的 key discoveries, findings 和 techniques。**

现在，以下步骤将集中于如何阅读一份 research paper。  
 … … …… ……

### Reading A Single Research Paper ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 3]  
以理解为目的去读一篇论文，并不是要把整个论文过一遍。 据 Andrew Ng 说，从头到尾阅读一次论文可能不是理解论文的最佳方法。

准备至少**阅读三次**论文，以充分理解其内容。

4、**在第一遍中，首先阅读论文的 title、abstract 和 figure。**

5、**在第二遍中，阅读论文的 introduction、conclusion，再过一遍 figure，并略读其余部分。**

论文的 **introduction** 和 **conclusion** 简洁明了地**总结了论文**的内容和发现。 这些地方的信息通常**只包含关键信息**。 这对于读者是有益的，因为可以获得**继续阅读本文其他部分所需的重要信息**。

6、**在第三遍中，涉及阅读论文的整个部分，但可以跳过任何不熟悉或复杂的 maths or technique formulations。 在此阶段，还可以跳过所有不了解或不熟悉的术语。**

> 在吴恩达视频中，第三步是 skip / skim maths，而不是跳过不熟悉或复杂的 maths or technique formulations。
> 
> 而且还有第四步，即：whole thing but skip parts that don’t make sense。因为有一些论文年代久远……

7、**那些对某个领域进行深入研究的人可能还要多看几遍。 这些额外的次数中，将主要去理解maths, techniques and unknown terminologies。**

对于那些通常出于**信息和工程目的**阅读研究论文的人，进行深入研究可能会非常耗时，尤其是如果您还有20篇论文需要阅读。  
 … … …… ……  
我通过介绍LeNet卷积神经网络的原始论文来完成本文介绍的过程，并总结了笔记中的关键内容，然后将其转换为一系列中型文章。

[Understanding and Implementing LeNet-5 CNN Architecture (Deep Learning)][Understanding and Implementing LeNet-5 CNN Architecture _Deep Learning]

> 在本文中，我们使用自定义实现的LeNet-5神经网络对MNIST数据集进行图像分类…

[(You Should) Understand Sub-Sampling Layers Within Deep Learning][You Should_ Understand Sub-Sampling Layers Within Deep Learning]

> 平均池化，最大池化，子采样，下采样都是您在深度学习中遇到的短语…

[Understanding Parameter Sharing (or weights replication) Within Convolutional Neural Networks][Understanding Parameter Sharing _or weights replication_ Within Convolutional Neural Networks]

> 参数共享或权重复制是一个主题领域，在深度学习研究中很容易被忽略…

[Understand Local Receptive Fields In Convolutional Neural Networks][]

> 有没有想过为什么卷积神经网络中并不是所有神经元都连接？

… … …… ……

### Questions To Ask Yourself ###

Andrew Ng 提供了一系列在阅读论文时应该问自己的问题。 这些问题通常会反映你是否了解论文中提供的关键信息。 我将以下问题用作信标，以确保我不会偏离理解重要信息。

这些问题如下：

*  描述论文的作者希望（或者已经）**完成什么**。
    
    > What did authors **try to accomplish**？
 *  论文提到的**新的 approach/technique/method**，以及他们的 **key elements**。
    
    > What were the **key elements** of the approach？
 *  文章的那些内容**对你有用**？
    
    > What can you use yourself？
 *  你**想 follow 的参考文献**？
    
    > What other reference do you want to follow？

… … …… ……

### Additional Resources To Assist Research ###

一些在线资源能让相关信息的发现和检索更容易。 以下是可帮助您搜索相关信息的资源示例。

*  [The Machine Learning Subreddit][]
 *  [The Deep Learning Subreddit][]
 *  [PapersWithCode][]
 *  Top conferences such as [NIPS][], [ICML][], [ICLR][]
 *  [Research Gate][]
 *  [Arxiv][]

… … …… ……

### Conclusion ###

“Learn steadily rather than short burst for longevity.“ — Andrew Ng

我对机器学习和计算机视觉领域还比较陌生，有很多我不知道的地方 (谦辞) 。 尽管如此，我仍然相信，**如果一个人始终如一地寻求知识，无论其领域如何，他们都会获得超越标准的理解和专业知识** (干了这碗鸡汤！！！)。

根据吴恩达（Andrew Ng）介绍的方法，我每个月至少阅读四篇论文，以期达到理解的目的。 老实说，LeNet论文花了我一个半星期的时间才完全理解。 但是，次数越多，在阅读和理解研究论文上就会越快越好。

吴恩达在视频中表示，他随身携带了一个文件夹的要读的论文。吴恩达是机器学习领域的杰出人物，我相信效法他的习惯和学习技巧可能对您的学习之旅有利。  
 … … …… ……

### 附加内容 ###

以下是**吴恩达老师提到，但是原文没有提到的内容**，我加到最后。

#### Math ####

*  **通读**它，记下详细的**笔记**，然后看看是否可以**从头写出** (re-derive it from scratch)。

#### Code ####

*  运行**开源代码**（如果可以的话）
 *  **复现**代码 (re-implement it from scratch)

#### 个人能力（T字型） ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 4]

纵向提高能力的方式：

*  Project
 *  Open-source
 *  Research
 *  Internship

#### Fundamental skills ####

*  Course work
 *  Reading
 *  Relevant Project

#### Saturday morning ####

这其实是一个个人选择的问题。

*  Read paper
 *  Work a research
 *  Open source
 *  TV
 *  ……

[Link 1]: https://www.youtube.com/watch?v=733m6qBH-jI
[Link 2]: https://towardsdatascience.com/how-you-should-read-research-papers-according-to-andrew-ng-stanford-deep-learning-lectures-98ecbd3ccfb3
[Stanford lecture taught by Andrew Ng]: https://www.youtube.com/watch?v=733m6qBH-jI&t
[Andrew Ng]: https://medium.com/u/592ce2a67248?source=post_page-----98ecbd3ccfb3----------------------
[_Andrew Ng_]: https://www.linkedin.com/in/andrewyng/
[Deeplearning.ai]: http://deeplearning.ai/
[Coursera]: https://www.coursera.org/
[Stanford University]: https://www.stanford.edu/
[google search]: https://www.google.com/search?q=andrew+ng&oq=andrew+ng&aqs=chrome..69i57j46j0l3j69i61j69i60l2.1935j0j7&sourceid=chrome&ie=UTF-8
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center]: /images/20230209/1ce7cca007a54b8fb925b4db67375df8.png
[google search 1]: https://www.google.com/search?q=pose+estimation&oq=pose+estimation&aqs=chrome..69i57j69i59l2j69i60l2j69i65l2j69i60.4646j1j7&sourceid=chrome&ie=UTF-8
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230209/b8a2c0cf2f2f4830b2435169bfbc2727.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20230209/b441ecfad3af44b5b6ca59862262b06f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20230209/3141c0e5c61049ba93461bb14b00f453.png
[Understanding and Implementing LeNet-5 CNN Architecture _Deep Learning]: https://towardsdatascience.com/understanding-and-implementing-lenet-5-cnn-architecture-deep-learning-a2d531ebc342
[You Should_ Understand Sub-Sampling Layers Within Deep Learning]: https://towardsdatascience.com/you-should-understand-sub-sampling-layers-within-deep-learning-b51016acd551
[Understanding Parameter Sharing _or weights replication_ Within Convolutional Neural Networks]: https://towardsdatascience.com/understanding-parameter-sharing-or-weights-replication-within-convolutional-neural-networks-cc26db7b645a
[Understand Local Receptive Fields In Convolutional Neural Networks]: https://towardsdatascience.com/understand-local-receptive-fields-in-convolutional-neural-networks-f26d700be16c
[The Machine Learning Subreddit]: https://www.reddit.com/r/MachineLearning/
[The Deep Learning Subreddit]: https://www.reddit.com/r/deeplearning/
[PapersWithCode]: https://paperswithcode.com/
[NIPS]: https://papers.nips.cc/
[ICML]: https://icml.cc/
[ICLR]: https://iclr.cc/
[Research Gate]: https://www.researchgate.net/
[Arxiv]: https://arxiv.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20200715102256263.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgzMDY1,size_16,color_FFFFFF,t_70#pic_center