CMU丰田及南加大联合开源“面向Lidar扩散模型的真实感场景生成”

科技视觉大放送 2024-10-18 06:04:41

以下内容来自小六的机器人AI学习圈(6年积累,全国最大的机器人SLAM交流社区,为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务)知识星球每日更新内容

【Towards Realistic Scene Generation with LiDAR Diffusion Models】

开源代码:https://github.com/hancyran/LiDAR-Diffusion

扩散模型( DMs )在真实感图像合成中表现优异,但其对LiDAR场景生成的适应性存在很大障碍。这主要是由于在点空间工作的DM难以保持LiDAR场景的曲线模式和三维几何形状,从而消耗了它们的大部分表征能力。在本文中,我们提出了激光雷达扩散模型( LiDAR Diffusion Models,LiDMs ),通过将几何先验融入到学习流水线中,从专为捕获激光雷达场景真实感而定制的潜在空间中生成激光雷达真实感场景。我们的方法主要针对三个方面:模式实在论、几何实在论和对象实在论。具体来说,我们引入曲线方向的压缩来模拟真实的LiDAR模式,点方向的坐标监督来学习场景几何,并对完整的三维物体上下文进行逐块编码。

通过这3个核心设计,我们的方法在64波束场景下的无条件激光雷达生成和有条件激光雷达生成方面取得了有竞争力的性能,同时保持了比基于点的DMs (速度可达107 ×)更高的效率。此外,通过将LiDAR场景压缩到一个潜在空间,我们可以在语义地图、相机视图和文本提示等多种条件下实现DM的可控性。

推荐教程

我对Fast-LIO2做了改进,解决了Z轴漂移、有效检测回环及解决了回环重影、实现了重定位2025秋招,上来就问3D Gaussian Splatting。。。香港大学开源的这个激光雷达惯性SLAM,太强了!一招掌握3DGS基础视觉三维重建!深度计算+点云处理+网格重建优化+纹理贴图!谷歌这个SLAM开源方案,造福了整个机器人行业!重大变革!NeRF和3D高斯喷溅如何重塑SLAM?发顶会顶刊不再难!多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架,造福了无数卫星定位研究者和初创公司!BOSS:用了机器人仿真,立省几十万自动驾驶中的GNSS、RTK到底多重要?太强了!世界第一款开源的自动驾驶一体化框架Autoware!(附交流群)如何从零开始搭一套自己的SLAM系统?17讲全部上线!全网首个详解深度学习特征开源算法SuperPoint和SuperGlue(附交流群)最炸裂的机器人AI技术教程都在这了!
0 阅读:1

科技视觉大放送

简介:感谢大家的关注