慕尼黑工大&KAUST发布Motion2Vecsets:4D隐向量集重...

科技视觉大放送 2024-09-15 03:51:08

以下内容来自小六的机器人AI学习圈(6年积累,全国最大的机器人SLAM交流社区,为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务)知识星球每日更新内容

【Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking】

文章链接:[2401.06614] Motion2VecSets: 4D Latent Vector Set ...

开源项目:https://vveicao.github.io/projects/Motion2VecSets/

我们介绍了Motion2VecSets,一种基于点云序列的动态表面重建的4D扩散模型。虽然现有的最先进的方法已经证明了使用神经场表示重建非刚性物体的成功,但传统的前馈网络遇到了来自噪声、部分或稀疏点云的模糊观测的挑战。为了解决这些挑战,我们引入了一个扩散模型,该模型通过压缩潜在表示的迭代去噪过程显式地学习非刚性物体的形状和运动分布。基于扩散的先验在处理模糊输入时,可以实现更合理和更概率的重建。我们用隐#论文 向量集参数化4D动力学,而不是使用全局隐向量。、

这种新颖的4D表示允许我们学习局部表面形状和变形模式,从而导致更准确的非线性运动捕获,并显著提高对未知运动和身份的泛化能力。为了进行更多的时间一致性目标跟踪,我们同步去噪变形潜在集,并在多帧之间交换信息。为了避免计算量过大,我们设计了一个空间和时间交错的注意力块来交替聚合空间域和时间域的形变隐变量。与最先进的方法进行了广泛的比较,证明了我们的Motion2VecSets在从各种不完美的观测重建4D方面的优越性,特别是在DeformingThings4D - Animals数据集上从稀疏点云重建看不见的个体时,与CaDex相比,交并比( Intersection over Union,IoU )提高了19 %。

推荐阅读

3D高斯泼溅 为什么能一直火?有哪些应用场景?香港大学开源的这个激光雷达惯性SLAM,太强了!一招掌握3DGS基础视觉三维重建!深度计算+点云处理+网格重建优化+纹理贴图!谷歌这个SLAM开源方案,造福了整个机器人行业!重大变革!NeRF和3D高斯喷溅如何重塑SLAM?发顶会顶刊不再难!多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架,造福了无数卫星定位研究者和初创公司!BOSS:用了机器人仿真,立省几十万自动驾驶中的GNSS、RTK到底多重要?太强了!世界第一款开源的自动驾驶一体化框架Autoware!(附交流群)如何从零开始搭一套自己的SLAM系统?17讲全部上线!全网首个详解深度学习特征开源算法SuperPoint和SuperGlue(附交流群)最炸裂的机器人AI技术教程都在这了!
0 阅读:0

科技视觉大放送

简介:感谢大家的关注