多视图与多模态之争

曾经终败给现在 2023-02-20 15:56 54阅读 0赞

本周6看了CCF-AI走进高校系列报告，在看[天津大学张长青副教][Link 1]授做多视图学习报告时。在提问环节，其中有一个有意思的问题。多视图与多模态有什么区别？传统的机器学习一般而言基于单视图建模分析，也有学者称**多视图**为**多模态。下面说一下笔者自己的理解，仅当了解，无论对错。**

# **先看一下大佬的回答：** #

这个问题是[深圳大学王熙照教授][Link 2]提出的。王老师以一个[深圳大学][Link 2]博士生毕业生答案进行侧面回答：多个传感器获取到的数据是多模态，而单个传感器在不同位置获取到的数据是多视图的。

张老师的回答：多视图包含多模态，多视图更接近机器学习，更抽象。多模态更接近于应用，与实际的某一个应用结合。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1][]

# 自己理解： #

**   **一般而言，它们之间是没有很大的区别，在很多地方都可以互换，如多视图多聚类，多视图多示例多标记学习或者多模态多示例多标记学习。如果要争一个高低，我更偏向于张老师这边答案，但和而不同。

最近在调研表示学习，我从这个角度解释二者区别，大家理解起来可能会更深入一点。在表示学习中，Graph embeding 和Network embeding （既图嵌入和网络嵌入）很多时候也被大家所混用，正如多视图与多模态。思考一个问题，为什么在学习计算机专业课程《数据结构》时，介绍了Graph结构而没有network结构？ 因为Graph是对实际的抽象，是一种抽象。而我们在谈网络时，一般都会说XX网络，如社交网络，引文网络等等。然后用图这种抽象结构或者说技术对实际的网络进行建模分析。

接着说Graph embeding 和Network embeding 的区别。Graph embeding目的在于降维，学习到的低维嵌入能够重构，既恢复到原来的’数据形式‘。而Network embeding要求不仅能重构，还能做一些推断任务，如节点分类，链接预测，社区发现等等。

那么如何运用Graph embeding 和Network embeding的思维分析多视图与多模态的区别呢？ 多视图更偏向于‘数据结构’，既更抽象，更方便建模分析，既面向数据结构，是一种机器学习范式。而多模态更偏向于解决方案，实际应用，既面向求解，是一种具体的求解方案。

上述仅为一家之言，如有理解不当地方，多多包含（图侵，联系删）。

[Link 1]: http://cic.tju.edu.cn/faculty/zhangchangqing/index.html
[Link 2]: http://www.hebmlc.org/CV.asp
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200628093116979.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/202006280955309.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1,size_16,color_FFFFFF,t_70