Matrix-Game 3.0 – 昆仑万维推出的实时交互式世界模型

Matrix-Game 3.0是什么

Matrix-Game 3.0 是昆仑万维（Skywork AI）推出的实时交互式世界模型，支持720p@40FPS实时生成。模型采用误差缓冲机制实现自校正，结合相机感知记忆检索确保长程一致性，可稳定生成长达数分钟的交互视频。Matrix-Game 3.0基于Unreal Engine合成数据、AAA游戏数据与真实视频训练，5B蒸馏版支持3步快速采样，28B MoE版进一步提升质量。作为”猫森学园2.0″平台底座，目标打造可交互的3A级AI游戏世界。

Matrix-Game 3.0的主要功能

• 实时交互生成：支持键盘/鼠标动作输入，以40FPS实时生成720p分辨率的可交互视频。
• 长程记忆保持：通过相机感知记忆检索，在分钟级长视频中维持场景和物体的时空一致性。
• 自校正能力：模型用误差缓冲机制自动修正预测偏差，减少画面漂移和累积错误。
• 多模态控制：支持文本提示、动作输入和相机姿态的联合条件控制。
• 高效推理部署：模型支持5B蒸馏模型仅需3步采样即可实时运行，28B MoE版本提供更高生成质量。

Matrix-Game 3.0的技术原理

• 数据引擎：整合Unreal Engine合成数据、大规模AAA游戏自动化采集数据及真实世界视频增强，构建工业级无限数据流水线，产出Video-Pose-Action-Prompt四元组训练数据。
• 误差感知基础模型：采用双向Diffusion Transformer联合建模历史帧、噪声当前帧与动作条件，通过误差收集机制记录预测残差并注入训练，使模型学会自校正弥合训练与推理的差距。
• 记忆增强生成：在基础模型上引入相机感知的记忆帧检索，基于相机姿态和视场重叠选取相关历史内容，通过联合自注意力机制与Plücker几何编码实现长程时空一致性。
• 训练推理对齐的少步蒸馏：基于Distribution Matching Distillation的多段自回归蒸馏策略，学生模型执行模拟实际推理的多段 rollout，确保训练与推理分布一致，结合INT8量化和VAE解码器蒸馏实现实时推理。

Matrix-Game 3.0的关键信息和使用要求

• 发布时间：2026年3月27日（2026中关村论坛）
• 开发团队：昆仑万维 / Skywork AI
• 模型定位：实时流式交互世界模型
• 核心能力：720p@40FPS实时生成，分钟级长程记忆一致性
• 模型版本：提供5B基础版 / 5B蒸馏版 / 28B MoE版
• 官方资源：GitHub / HuggingFace / 演示站
• 硬件要求
  • GPU：NVIDIA A/H系列（支持单卡或多卡推理）
  • 系统：Linux
  • 内存：64GB RAM

Matrix-Game 3.0的核心优势

• 工业级实时性能：5B蒸馏模型能实现720p@40FPS实时生成，突破交互视频生成的速度瓶颈，达到可实际部署的工业标准。
• 长程一致性突破：首创误差缓冲与相机感知记忆检索机制，解决扩散模型长视频生成的漂移问题，支持分钟级稳定输出。
• 训练推理对齐：多段自回归蒸馏策略确保训练与推理分布一致，3步采样即可达到50步基础模型质量，效率提升16倍。
• 数据引擎领先：整合Unreal Engine合成、AAA游戏采集与真实视频增强，构建无限高质量数据流水线。

如何使用Matrix-Game 3.0

• 环境准备：在Linux系统上配置Python 3.12的conda环境，安装FlashAttention依赖库。
• 仓库安装：克隆GitHub仓库至本地，执行pip安装requirements.txt中的全部依赖项。
• 模型下载：通过huggingface-cli命令从HuggingFace下载预训练的模型权重文件。
• 输入准备：准备一张起始图片和描述场景内容的文本提示词作为生成条件。
• 基础推理：运行torchrun命令启动生成，设置704×1280分辨率、INT8量化和3步采样实现实时生成。
• 参数调整：根据需求选择基础模型（50步高质量）或蒸馏模型（3步快速），启用交互模式自定义动作输入。

Matrix-Game 3.0的项目地址

• 项目官网：https://matrix-game-v3.github.io/
• GitHub仓库：https://github.com/SkyworkAI/Matrix-Game/tree/main/Matrix-Game-3
• HuggingFace模型库：https://huggingface.co/Skywork/Matrix-Game-3.0
• 技术论文：https://github.com/SkyworkAI/Matrix-Game/blob/main/Matrix-Game-3/assets/pdf/report.pdf