做视频目标分割、人体姿态跟踪、语义part分割的同学看过来，李飞飞最新作品

╰+哭是因爲堅強的太久メ 2024-02-20 12:53 31阅读 0赞

SiamMAE：一种从视频中进行表示学习的孪生掩码自编码器，在视频目标分割、人体姿态跟踪、语义part分割上性能表现出色单位：斯坦福大学(李飞飞、吴佳俊等人), 普林斯顿大学(邓嘉)

在图像或场景之间建立对应关系是计算机视觉中的一项重大挑战，尤其是考虑到遮挡、视点变化和不同的对象外观。 在本文中，我们介绍了Siamese

掩码自编码器 (SiamMAE)，这是掩码自编码器 (MAE) 的简单扩展，用于从视频中学习视觉对应。 SiamMAE 对随机采样的视频帧对进行操作，并对它们进行不对称屏蔽。 这些帧由编码器网络独立处理，由一系列交叉注意层组成的解码器负责预测未来帧中丢失的补丁。 通过在未来帧中掩码大部分 (95%) 的patch，同时保持过去的帧不变，SiamMAE 鼓励网络专注于对象运动并学习以对象为中心的表示。 尽管概念简单，但通过 SiamMAE 学习的特征在视频目标分割、姿势关键点传播和语义部分传播任务方面优于最先进的自监督方法。 SiamMAE 在不依赖数据增强、基于跟踪的手工任务或其他防止表征崩溃的技术的情况下取得了有竞争力的结果。

主页：https://siam-mae-video.github.io/

demo：https://siam-mae-video.github.io/resources/attn/koala.webm

论文下载链接：https://siam-mae-video.github.io/resources/paper.pdf

![在这里插入图片描述][d26c0b0cef444e15ab587ff68bdfbf8f.png]

![在这里插入图片描述][e91d6bb174ed43d5893a98bbfe75e044.png]

![在这里插入图片描述][d4cea38eb41e42be8e1cccdd8b411b66.png]

![在这里插入图片描述][fbc1a846df154804a893751a00a77aae.png]

![在这里插入图片描述][b679a39261054597b6121c6e2276c8f2.png]

![在这里插入图片描述][48f5c5e764cd4d44b0eeef134d8fa4aa.png]

![在这里插入图片描述][6fb1ca4217874a8ea77b2e04093da93a.png]

![在这里插入图片描述][ef4ddb45145a4accab70200f8fb60410.png]

![在这里插入图片描述][ed3b47bf1e7c4ed4a1e10e95ee8d5276.png]

更多论文创新点加微信群：Lh1141755859

公众号：CV算法小屋

[d26c0b0cef444e15ab587ff68bdfbf8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/4164874026a14af89040adcbf6009480.png
[e91d6bb174ed43d5893a98bbfe75e044.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/a978ddff8af2478889d6574c00c6b583.png
[d4cea38eb41e42be8e1cccdd8b411b66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/4953e8e51c824cdaa1128feb9ab09b60.png
[fbc1a846df154804a893751a00a77aae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/2b9052e1034944fe90184f31bdf495e7.png
[b679a39261054597b6121c6e2276c8f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/e146ae8426ab4155a060fd7c7181a38b.png
[48f5c5e764cd4d44b0eeef134d8fa4aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/3345e82c6e5b4c30ae7095971b6cc8aa.png
[6fb1ca4217874a8ea77b2e04093da93a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/ea888ad070b14d54a364b98dad14e167.png
[ef4ddb45145a4accab70200f8fb60410.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/453c81d1e4394818b573db13cc26e898.png
[ed3b47bf1e7c4ed4a1e10e95ee8d5276.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/20/01358379664e42f68c277e0c5fa9dcbd.png