商汤开源视觉大统一模型SenseNova-Vision，单模型覆盖四大视觉任务

7月13日，商汤科技正式发布并全面开源日日新SenseNova-Vision理解生成统一视觉大模型。该模型首次在单一共享表征空间内原生覆盖结构化视觉理解、稠密几何预测、图像分割与多视角3D几何等经典视觉任务，并以单模型在多项权威评测中比肩甚至超越专用专家模型。

技术突破

SenseNova-Vision打破了传统“一任务一模型”的架构，将所有视觉任务统一表述为多模态生成问题。模型通过自然语言指令与可选视觉提示指定任务，输出原生文本、图像或图文混合结果，无需任务专属预测头或额外架构分支。这种设计带来双向增益：商汤积累的视觉数据提升了大模型底座的视觉理解能力，而大语言模型的推理能力则让视觉任务融会贯通，甚至能用语言直接定义新任务。

性能表现

在多项权威评测中，SenseNova-Vision以单模型在四大核心视觉领域领先：

• 结构化视觉理解：在目标检测、指代检测、OCR、关键点定位等任务上全面领先同类通用模型，尤其在稠密小目标检测和长尾类别识别中表现突出。
• 稠密几何预测：深度估计、表面法向估计精度达到几何专用模型水准，在室内外多场景下保持高稳定性。
• 分割能力：涵盖通用分割、推理分割、交互式分割，在推理分割与对话式分割上表现惊艳。
• 多视角3D几何：单模型即可高质量完成多视角点云重建与相机位姿估计。

泛化能力

模型在极端场景中展现出惊人泛化能力：

• 零样本泛化：对训练集中未出现的游戏画面（如《黑神话：悟空》），可同时完成表面法向、实例分割及关键点检测。
• 超稠密物体分割：对鱼群、羊群等高度重叠场景，能精准剥离每个个体。
• 看穿镜面反射：自动过滤镜中倒影，准确估计真实空间方向与深度。
• 突破视觉错觉：在借位摄影等错觉图像中，能正确分离前景与后景。

开源与生态

商汤同步开源了包含5000万条高质量样本的视觉指令语料库SenseNova-Vision Corpus-50M。模型代码、权重及数据集已发布于GitHub、Hugging Face和ModelScope。商汤表示，该模型显著降低了视觉AI应用门槛，开发者无需为不同任务维护多套模型体系，单个模型即可覆盖高频视觉需求。