深度阅读

文章详情

围绕重点内容进行完整呈现,帮助读者获得更顺畅、更聚焦的阅读体验。

谈球吧 - VAST全面开源:引领互动游戏世界的实时渲染新境界
Article View

谈球吧 - VAST全面开源:引领互动游戏世界的实时渲染新境界

谈球吧(中国)-官方网站 982 阅读 约 5.5 分钟

在虚拟游戏的世界中,当你面对一扇门却犹豫不决时,通常的反应是先退后几步,然后尝试跳跃或探头以寻找可能的路径。这一系列看似普通的操作,却在由人工智能生成的环境中增添了复杂性。想象一下,AI系统必须实时响应每一次的玩家决定,反应速度必须快到能够应对玩家的突然停顿、转身或是奔跑。这正是VAST新开源的实时世界模型EdenLive所能实现的功能。EdenLive作为Project Eden系列中的核心实时生成渲染器,将各种互动内容如游戏和动画预览的运行规则与状态,仍然依赖于上游的交互系统进行管理。无论是简陋的白模、二维或三维场景,还是实录视频,这些都可以作为生成画面的基础素材。

about image

EdenLive的独特之处在于,它能够在玩家的操作中实时渲染出全新的世界。举个例子,不论是玩家指引角色前行,还是镜头的旋转,交互系统都会将更新后的状态反馈为灰盒画面和场景描述,然后输入到EdenLive中,从而产生实时生成的视觉效果。更进一步地,生成的视觉表现并不局限于已有的美术作品,任意视觉素材均可作为参考。无论是粗糙的三维模型、简易的二维场景,还是一段现有的视频,这些都可以提供必要的结构与动态。而这段参考素材的变化,例如首帧的替换或提示词的修改,便能衍生出写实、手绘、卡通、像素艺术甚至油画等截然不同的视觉风格。

about image

EdenLive被誉为多功能生成器,支持实时互动生成游戏画面,同时还能保持视频的运动轨迹,甚至将角色与环境的风格迁移到另一个维度。其独特的能力还允许它将一段第一人称操控的录像重新生成一个机械臂视角的版本。这样的实现主要依靠一种“分工协作”的模式:参考画面负责决定结构、运动和镜头,而生成模型则承担了视觉呈现的重任。具体而言,EdenLive对三种输入信号进行了明确分工:参考视频确定了场景布局、视角移动、物体轨迹及事件发生时间;目标首帧则定义了主体、材质、配色以及画风;文本提示词则在需要时补充了画面的风格与细节,甚至可以在交互过程中增添描述。 谈球吧

在实时互动生成的挑战上,EdenLive取得了令人瞩目的进展。基于Gemini-3.8-Flash对45个长时案例进行的双盲评估,EdenLive的14B与5B版本在参考遵循、首帧一致性、物理合理性、画质以及避免外观泄露等五个维度上均表现抢眼,吸引了极高的评价。例如,在参考遵循这一维度上,14B的得分为1704,高于竞争对手AgentGarten约200分。更为激动人心的是,EdenLive在实时跟随能力方面,展现出了非凡的才华。不同于传统的离线视频生成模型需完整输入后再进行整体生成,EdenLive则能够即时追踪并渲染瞬息万变的参考画面。

据团队透露,EdenLive 5B在入门级显卡RTX 5090上可实现超过24帧每秒的720P画面生成,并支持分钟级的持续输出,这对于游戏制作的意义重大。在此过程中,玩家按下攻击键后的第一反应并非EdenLive的任务,实际操作中,是否击中目标、血量变化、角色所在位置等判断都需提前由上游交互系统确认并更新游戏状态。

在营造场景与动画预览的过程中,参考素材可以是未完成的白模、粗略的动画或是由精致模型生成的法线视频。只需稳定的参考,EdenLive便可以在同一个场景和动画上展示不同的材质、光源与配色变化。当镜头从一个点移走再返回时,EdenLive能够继续以不变的结构进行渲染,绝不需要重新推测先前的画面。 谈球吧

这种连续性与一致性对于游戏中的玩家操作至关重要。例如,当玩家使用升降装置,而整个围栏和网格保持不变的同时,外部环境则需要不断变动。为此,VAST同步推出了EdenGolem(v0.1),这是一个针对编程智能体的开发工具。只需输入玩法描述,这一工具便能够分成四个阶段实施开发,涵盖玩法设计、场景构建、交互逻辑实现及用户界面优化,从而生成可独立运行的3D灰盒游戏。目前,EdenGolem已支持解谜、射击、驾驶、冒险、竞技场、格斗等多种游戏类型。

除了基于基础素材的生成能力,EdenLive还具备理解现实素材并进行转化的能力。例如,真人教学中的“闪身步”可以在保留构图与摄影的同时,使人物与画面动画化。模型沿着原视频的动作轨迹与空间关系,逐帧重新生成,而不复制原视频的视觉质感。此外,还有一个常常被忽视的功能——具身数据增强。在机器人训练中,虽然“人类的擦桌子”行为有大量的知识支持,真正缺少的是从“机器人的视觉”出发,如何实现机械手与物体的接触和抓取的训练素材。虽然可以通过人佩戴头戴式摄像机的方式纪录到一定的视角,然而真人录像中展现的手臂与手指,与机器人相应部件的外形、运动范畴与遮挡方式完全不同。若训练中主要用真人视频,机器人在应用时势必遇到明显的视觉分布差异。借助EdenLive,可以将真人手部替换成机械手,成功达成这一目标。

about image

觉得有用?分享给朋友

让更多人看到这篇内容。

Recommended

推荐阅读