Meta开源“UnSAMFlow:分割任何事物模型引导的无监督光流”

科技视觉大放送 2024-10-22 07:18:38

以下内容来自小六的机器人AI学习圈(6年积累,全国最大的机器人SLAM交流社区,为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务)知识星球每日更新内容

【UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model】

文章链接:[2405.02608] UnSAMFlow: Unsupervised Optical Flow ...

代码仓库:https://github.com/facebookresearch/UnSAMFlow

传统的无监督光流方法由于缺乏物体级别的信息,容易受到遮挡和运动边界的影响。因此,我们提出了一种无监督的流网络UnSAMFlow,该网络同样利用了最新的基础模型Segment Anything Model ( SAM )中的对象信息。我们首先包含一个针对SAM掩码定制的自监督语义增强模块。我们还分析了传统平滑损失的梯度较差的景观,并提出了一种新的基于单应性的平滑定义。还添加了一个简单而有效的掩码特征模块,以进一步在对象级别上聚合特征。通过所有这些调整,我们的方法产生了清晰的光流估计,在物体周围有尖锐的边界,这在KITTI和Sintel数据集上优于最先进的方法。我们的方法也具有很好的跨领域通用性,并且运行效率很高。

推荐教程

我对Fast-LIO2做了改进,解决了Z轴漂移、有效检测回环及解决了回环重影、实现了重定位2025秋招,上来就问3D Gaussian Splatting。。。香港大学开源的这个激光雷达惯性SLAM,太强了!一招掌握3DGS基础视觉三维重建!深度计算+点云处理+网格重建优化+纹理贴图!谷歌这个SLAM开源方案,造福了整个机器人行业!重大变革!NeRF和3D高斯喷溅如何重塑SLAM?发顶会顶刊不再难!多传感器融合SLAM、生成式AI、3DGS、NeRF、标定等方向这个开源框架,造福了无数卫星定位研究者和初创公司!BOSS:用了机器人仿真,立省几十万自动驾驶中的GNSS、RTK到底多重要?太强了!世界第一款开源的自动驾驶一体化框架Autoware!(附交流群)如何从零开始搭一套自己的SLAM系统?17讲全部上线!全网首个详解深度学习特征开源算法SuperPoint和SuperGlue(附交流群)最炸裂的机器人AI技术教程都在这了!
0 阅读:2

科技视觉大放送

简介:感谢大家的关注