蚂蚁灵波发布空间原生视觉基模LingBot-Vision,以边界建模提升机器人空间感知
6月8日,蚂蚁灵波发布新一代空间感知模型LingBot-Depth 2.0,并开源面向具身智能的视觉基础模型LingBot-Vision。该模型是全球首个空间原生视觉基础模型,通过创新的“以边界为中心的掩码建模”方法,在预训练阶段将空间结构刻入训练目标,使机器人能更准确地理解距离、边界和空间关系。
技术核心:边界强制掩码建模
传统视觉基础模型(如DINOv3)在掩码建模时采用随机遮盖,而LingBot-Vision的核心洞察是:物体边界区域信息量最大,应被强制遮盖。模型通过教师模型在线预测边界场,将边界patch加入被遮盖集合,迫使模型重建几何结构。为解决“从零训练不知边界”的自举难题,团队利用稀疏角点锚定解码过程,即使边界场随机生成,解码出的线段依然连贯。同时,将边界预测转为分类问题,并引入a-contrario检验过滤噪声,保证训练目标干净。
训练效率与性能表现
LingBot-Vision(约1.1B参数,ViT-g/16)仅使用1.61亿张图片(DINOv3的1/10)和不到DINOv3三分之一的训练量。在深度估计任务上,NYUv2 RMSE达0.296,优于7B参数的DINOv3(0.309);KITTI上为2B参数以下最强。分割和视频任务上,与DINOv3 ViT-H+(0.8B)持平,超DINOv2超4个百分点。分类任务稍弱,符合“空间优先”设计目标。蒸馏后的0.3B学生模型在NYUv2上追平7B DINOv3,参数量相差约23倍。
实际应用效果:LingBot-Depth 2.0
基于LingBot-Vision的深度模型在透明/反光物体、小目标、远距离、复杂室内场景及弱光遮挡等场景表现稳定。例如,透明香槟塔的深度图轮廓完整,小如网球的物体也能清晰分辨。在12个深度补全基准上取得领先结果,且随下游数据增加优势扩大。
开源与部署
LingBot-Vision已开源,提供ViT-G/L/B/S多档模型,技术报告、代码、权重均可在GitHub、Hugging Face等平台获取。
相关资讯
6月15日 · 综合整理
6月19日 · 综合整理
6月25日 · 综合整理
6月29日 · 综合整理
6月19日 · 综合整理
6月28日 · 综合整理