编辑|山辉 创造一个世界不难,难的是让这个世界「听话」。 不久前,Google DeepMind 发布了 Genie 4,展示了交互式世界模型的最新进展。用户可以通过键盘或鼠标控制角色探索世界,还能通过提示词改变环境,不少人看了直呼「游戏引擎已死」。 但真上手用了才知道,实际体验和预期还有一定的差距。 「听话」,意味着至少需要具备两种能力: 一是控制精度,用户发出的操作指令能够得到准确响应;二是时序一致性,世界在持续变化的同时,仍然能够保持物体的身份、外观和状态稳定。 简单来说,就是该变的变,不该变的不变。 当 AI 已经能够生成一个可探索的世界,如何既实现精准控制,又让这个世界在持续交互中保持稳定,成为世界模型面临的一项重要挑战。 近日, 蚂蚁集团,西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0) 。其核心视觉引擎 Invoker-Render 能够接收结构化 Proxy,将场景布局、物体运动和镜头变化转化为连续的高保真画面。 GitHub:https://github.com/inclusionAI/CodeWorldModel hf地址:https://huggingface.co/inclusionAI/invoker-render-1.0 主页地址:https://www.inclusion-ai.org/CodeWorldModel/ 团队的一段赛车演示,充分展现了这种控制方式的优势。 输入端是低模赛车 Proxy,右下角还展示了真实的手柄操作。随着测试者拨动摇杆,Proxy 中的车辆改变方向,主画面中的白色赛车也随之同步转向。 视频链接:https://mp.weixin.qq.com/s/-H0Eibwe-kvqjC3I00i2hA 更重要的是,团队还展示了一段 30 分钟的赛车演示,没有任何中途切镜或重置,展现了模型在长时间连续生成中保持画面稳定性和主体一致性的能力。 几根简单的线框究竟如何驱动一个逼真的世界?又如何让这个世界在连续半小时的生成中,始终保持物体外观和场景结构的一致性? CWM 2.0 给出的答案是 Invoker-Render 。 这套生成式渲染引擎既能理解从简单几何到精细骨架等不同粒度的 Proxy,实现对场景、物体和镜头的精准控制,也通过 ProForcing 训练方法提升长时流式生成的稳定性。 代码控制世界,生成模型负责画面 目前,一类主流的交互式世界模型采用端到端生成路线:用户输入操作,模型直接预测并生成后续画面,无需单独搭建复杂的世界程序。 但随着交互越来越复杂,模型需要同时承担两类任务:既要像物理引擎一样维护物体状态、运动轨迹和交互规则,又要像图形渲染器一样合成逼真的材质、纹理和光照。这种设计增加了精准控制和修改世界规则的难度。 另一种思路,是 将世界状态管理与视觉生成分开 。 在这种架构中,代码负责定义物体、运动规则和摄影机路径,并将这些信息转换为结构化 Proxy,交给生成模型完成视觉呈现。代码提供明确、可修改的控制条件,生成模型则负责补充材质、光影和局部细节,实现世界状态与视觉表现的分工。 早在 CWM 1.0 中,团队就尝试将世界状态管理交给代码,将视觉呈现交给生成模型。CWM 2.0 则在此基础上,进一步完善了生成式渲染环节。 在 MiniMax-H3 基座上,团队构建了两种互补的 Invoker-Render 模型,共享结构 Proxy、外观参考图和文本条件这一套输入接口。 一种是双向创作模型 ,能够读取完整的 Proxy 序列,利用前后文信息生成画面,适合离线视频创作和复杂运镜调整。比如,创作者可以预先规划一段完整的镜头运动,再让模型根据结构条件生成对应画面。 另一种是因果四步流式模型 ,它无法提前看到尚未发生的操作,只能逐块接收新的 Proxy,结合此前生成的画面,持续生成后续内容。这种方式更适合实时交互。 但要让这套分工真正发挥作用,下游渲染器还需要解决两个问题:理解不同精度的结构输入,并在连续生成中保持画面稳定。 从几根线框到精细骨架,如何让世界模型实现精确控制? Proxy 是连接上游世界程序与下游生成模型的关键。它可以记录场景布局、物体位置、朝向、运动轨迹和摄影机变化,但不需要完整包含最终画面的材质、纹理和光照信息。 问题在于,不同交互场景需要的结构信息并不相同。 比如,在一个赛车场景中,如果只需要控制车辆沿着道路行驶,几个简单的三维框就可以描述汽车的位置和朝向。这样的 Proxy 构建成本低、传输也更加轻量。 但如果场景换成人物格斗,仅仅知道人物整体移动到哪里就不够了。模型还需要知道手臂、腿部和身体各个关节如何运动,才能准确还原出对应的动作。 如何让同一个模型同时理解粗略结构和精细约束? Invoker-Render
全国咨询热线
K1体育 - 足球篮球赛事内容中心
联系电话:13594780433
联系人:李总
邮箱:ascorbic@icloud.com
公司地址:铜仁市扛牌岛186号
微信扫一扫
手机官网