DeepMind提出GenCeption：将视频生成模型改造为通用视觉理解系统

谷歌DeepMind在最新论文《Video Generation Models are General-Purpose Vision Learners》中提出GenCeption，将预训练的文生视频扩散模型改造为通用视频理解系统，可完成深度估计、表面法线预测、分割、相机位姿估计和3D关键点预测等多种任务。该工作延续了此前图像生成器作为通用视觉学习器的思路，何恺明参与研究。

核心方法：从生成到理解的范式转变

GenCeption的核心是直接复用大规模预训练的文生视频扩散模型（如WAN 2.1），将其中的时空先验转化为视觉理解能力。传统扩散模型需要多步去噪生成，而GenCeption将多步扩散改为单步前馈：输入无噪声视频潜在表示，固定扩散时间步t=0，仅一次前向传播即可输出结果。通过改变文本指令，同一模型可无缝切换任务，例如指令“输出深度”生成深度图，“输出3D关键点”预测人体姿态。

统一多任务架构与合成数据

GenCeption将视觉任务分为两类：密集任务（深度、法线、分割等）将结果编码到RGB空间，稀疏任务（2D/3D关键点）使用可学习Token加MLP解码。所有任务统一使用L2损失训练，任务差异体现在数据格式而非模型架构。为解决多任务标注对齐问题，研究团队使用800个RenderPeople人物资产和200种动作，生成7500段合成人体视频，同步获得深度、法线、分割、DensePose、2D/3D关键点和相机位姿等天然对齐的标注。

性能与数据效率

GenCeption在多个基准上接近或超过Depth Anything V3、SAM 3、D4RT等专用模型。专用版（单任务训练）与通用版（多任务联合训练）性能差距较小，表明统一模型未出现明显能力损失。在相同后训练数据下，生成式预训练主干WAN 2.1在深度估计任务上优于V-JEPA和VideoMAE V2，且从13亿参数扩展到140亿参数时性能持续提升。GenCeption仅使用约123万帧后训练数据，而Depth Anything V3、D4RT和VGGT-Ω分别使用约2亿、8600万和6亿帧，数据效率高出7倍至500倍。

泛化能力与意义

模型主要使用合成人体视频后训练，但能直接处理真实视频，并泛化到多人场景、动物、机器人等未见过类别。作者认为，泛化能力来自视频生成模型大规模预训练阶段获得的广泛世界知识，后训练仅提供输出格式接口。这表明，一旦拥有强大的视频生成基础模型，下游视觉任务所需的专用标注数据可大幅减少，对标注昂贵的专业领域尤为重要。