东京大学等发布SAID-NeRF:分割辅助透明物体深度NeRF补全

科技视觉大放送 2024-09-24 03:58:44

以下内容来自小六的机器人AI学习圈(6年积累,全国最大的机器人SLAM交流社区,为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务)知识星球每日更新内容

arxiv | 株式会社东京大学等联合发布“SAID-NeRF:分割辅助的透明物体深度补全NeRF” 【SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects】 文章链接:[2403.19607] SAID-NeRF: Segmentation-AIDed NeRF fo... 作者单位:株式会社、东京大学、筑波大学 使用现成的RGB-D相机获取透明物体的精确深度信息是计算机视觉和机器人领域的一个众所周知的挑战。深度估计/补全方法通常在从模拟、额外的传感器或专门的数据收集装置和已知的三维模型中获得具有质量深度标签的数据集上使用和训练。

然而,在大规模数据集上获取可靠的深度信息并不简单,限制了训练的可扩展性和泛化性。神经辐射场( Neural Radiance Fields,NeRFs )是一种无需学习的方法,在新颖视图合成和形状恢复方面取得了广泛的成功。然而,通常需要启发法和控制环境(灯光、背景等)来准确地捕获镜面表面。在本文中,我们提出使用视觉基础模型( Visual Foundation Models,VFMs )以零样本、无标签的方式进行分割,通过同时重建语义场和扩展来指导这些对象的NeRF重建过程,以增加鲁棒性。我们提出的方法SegmentationAIDed NeRF ( SAID-NeRF )在透明物体和机器人抓取的深度补全数据集上表现出显著的性能。

推荐阅读

3D高斯泼溅 为什么能一直火?有哪些应用场景?香港大学开源的这个激光雷达惯性SLAM,太强了!一招掌握3DGS基础视觉三维重建!深度计算+点云处理+网格重建优化+纹理贴图!谷歌这个SLAM开源方案,造福了整个机器人行业!重大变革!NeRF和3D高斯喷溅如何重塑SLAM?发顶会顶刊不再难!多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架,造福了无数卫星定位研究者和初创公司!BOSS:用了机器人仿真,立省几十万自动驾驶中的GNSS、RTK到底多重要?太强了!世界第一款开源的自动驾驶一体化框架Autoware!(附交流群)如何从零开始搭一套自己的SLAM系统?17讲全部上线!全网首个详解深度学习特征开源算法SuperPoint和SuperGlue(附交流群)最炸裂的机器人AI技术教程都在这了!
0 阅读:2

科技视觉大放送

简介:感谢大家的关注