以下内容来自小六的机器人AI学习圈（6年积累，全国最大的机器人SLAM交流社区，为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务）知识星球每日更新内容

【Marrying NeRF with Feature Matching for One-step Pose Estimation】

文章链接：http://arxiv.org/abs/2404.00891

考虑到物体的图像采集，我们的目标是建立一个实时的基于图像的位姿估计方法，它既不需要物体的CAD模型，也不需要物体特定的训练时间。最近基于NeRF的方法通过直接优化渲染图像和目标图像之间的像素损失来提供了一个很有前途的解决方案。然而，在推理过程中，它们需要较长的收敛时间，并且容易陷入局部极小值，使得它们在实时机器人应用中不切实际。我们的目标是通过将图像匹配与NeRF结合来解决这个问题。利用NeRF渲染的2D匹配和深度，通过建立目标和初始视图之间的2D - 3D对应关系，一步直接求解位姿，从而实现实时预测。

此外，为了提高2D-3D对应关系的准确性，我们提出了一种3D一致性点挖掘策略，有效地丢弃了由NeRF重建的不可信点。此外，目前基于NeRF的朴素优化像素损失的方法在遮挡图像中失效。因此，我们进一步提出了一种基于2D匹配的采样策略来排除遮挡区域。在代表性数据集上的实验结果表明，我们的方法优于当前最先进的方法，并将推理效率提高了90倍，实现了6FPS的实时预测。

推荐阅读

3D高斯泼溅 为什么能一直火？有哪些应用场景？香港大学开源的这个激光雷达惯性SLAM，太强了！一招掌握3DGS基础视觉三维重建！深度计算+点云处理+网格重建优化+纹理贴图！谷歌这个SLAM开源方案，造福了整个机器人行业！重大变革！NeRF和3D高斯喷溅如何重塑SLAM？发顶会顶刊不再难！多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架，造福了无数卫星定位研究者和初创公司！BOSS：用了机器人仿真，立省几十万自动驾驶中的GNSS、RTK到底多重要？太强了！世界第一款开源的自动驾驶一体化框架Autoware！（附交流群）如何从零开始搭一套自己的SLAM系统？17讲全部上线！全网首个详解深度学习特征开源算法SuperPoint和SuperGlue（附交流群）最炸裂的机器人AI技术教程都在这了！