以下内容来自小六的机器人AI学习圈(6年积累,全国最大的机器人SLAM交流社区,为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务)知识星球每日更新内容
【I’M HOI: Inertia-aware Monocular Capture of 3D Human-Object Interactions】
文章链接:[2312.08869] I'M HOI: Inertia-aware Monocular Capt...
项目主页: I'M HOI: Inertia-aware Monocular Capture of 3D Hum...
我们生活在一个被具有丰富感知能力的多样化和"智能"设备所包围的世界中。方便地捕捉我们人类与这些物体之间的相互作用仍然意义深远。在本文中,我们提出了一种单目方案I ' mHOI,它可以在一种新的环境中准确地捕获人和物体的三维运动:使用少量的RGB相机和物体安装的惯性测量单元( IMU )。它结合了一般的运动推断和类别感知细化。对于前者,我们介绍了一种整体的人-物体跟踪方法,将IMU信号和RGB流进行融合,逐步恢复人体运动和随后的伴随物体运动。对于后者,我们定制了一个类别感知的运动扩散模型,该模型以原始IMU观测值和上一阶段在过参数化表示下的结果为条件。它显著地细化了初始结果,并生成了栩栩如生的身体、手和物体运动。此外,我们贡献了一个包含真实的人和物体运动、稠密的RGB输入和丰富的物体安装的IMU测量的大型数据集。大量实验证明了I' m-HOI在混合捕获场景下的有效性。
推荐阅读
3D高斯泼溅 为什么能一直火?有哪些应用场景?香港大学开源的这个激光雷达惯性SLAM,太强了!一招掌握3DGS基础视觉三维重建!深度计算+点云处理+网格重建优化+纹理贴图!谷歌这个SLAM开源方案,造福了整个机器人行业!重大变革!NeRF和3D高斯喷溅如何重塑SLAM?发顶会顶刊不再难!多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架,造福了无数卫星定位研究者和初创公司!BOSS:用了机器人仿真,立省几十万自动驾驶中的GNSS、RTK到底多重要?太强了!世界第一款开源的自动驾驶一体化框架Autoware!(附交流群)如何从零开始搭一套自己的SLAM系统?17讲全部上线!全网首个详解深度学习特征开源算法SuperPoint和SuperGlue(附交流群)最炸裂的机器人AI技术教程都在这了!