今天，我们宣布推出 Genie 4，这是我们全新的世界模型，它实现了前所未有的真实感，并提升了实时交互式模拟。Genie 4 原生支持多模态，能够同时生成类似音乐、环境噪音和交互式对话的音频，并与世界同步。
Genie 4 模型融合并构建于 Gemini 系列的能力之上：Gemini Omni 将模拟锚定在真实世界的外观和行为上，而其他 Gemini 模型则提供所需的复杂推理，以帮助维持模拟的连贯性和连续性。
基于这一基础，你可以启动一个事件，Genie 4 会模拟接下来发生的事情：世界如何响应、听起来如何，以及其中的人物如何移动、反应和说话。
理解和模拟世界是构建 AGI 的关键方面。Genie 4 提升了我们创建安全、无限可变模拟的能力，这些模拟可以帮助从为机器人和智能体开发训练环境到解锁全新交互体验的创造等各个方面。
▶ Genie 4: A new generation of world simulation
我们已开始将 Genie 4 作为研究预览版向受信任的测试者推出——在向消费者和开发者发布之前收集反馈，首先面向 Project Genie 中的 Google AI Ultra 订阅者，以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。请在此处加入 Project Genie 中 Genie 4 的等候名单。
Genie 4 提供增强的照片级真实感、流畅的运动和原生音频。上方展示的所有伴随声音均由 Genie 4 直接生成。
Genie 4 提升了四项关键能力
以下是 Genie 4 实时交互的录制内容，用户使用标准键盘控制进行导航和相机控制，并使用文本提示来引导场景的演变。
实时塑造世界模拟
借助 Genie 4，你可以使用自然语言实时修改模拟——例如改变天气、移动相机或引入新的人物或物体——Gemini 会根据上下文调整你的提示以匹配周围场景。在你的输入之间，Gemini 还会监控并引导场景，以保持世界连贯地推进。
开启音频以聆听 Genie 4 的世界。
提示：使用参考图像作为场景的精确第一帧和视觉基础。保留相同的漂浮矩形平台、风化的混凝土边缘、野草、蕨类植物、扭曲的小树、温暖发光的琥珀色球体，以及同一位穿着宽松棕色西装演奏黄铜萨克斯管的中年男子。
一个电影般的、高度自然主义的纪录片场景，使用 16mm 胶片拍摄，带有微妙的颗粒感、柔和的摄影细节、极低的对比度、柔和的自然色彩、提升的阴影、柔和的高光以及柔和的漫射阴天光线。绝对没有 HDR，没有戏剧性的对比度，没有光泽的数字渲染，没有人工电影灯光。
平台漂浮在一个广阔、安静的湖泊中央，周围是远处雾蒙蒙的森林。薄薄的雾气在水面上飘荡。天空是淡蓝灰色且阴天，带有柔和、几乎单色的氛围。温暖的琥珀色球体提供微妙的对比光芒，柔和地照亮周围的植被并在湖中反射。
从比参考图像稍近的萨克斯管演奏者视角开始，同时保持平台、发光的球体、树木和周围的湖泊可见。男子继续自然地演奏萨克斯管，带有微妙的呼吸、手指动作和轻柔的身体摇摆。
相机独立移动，可以自由探索整个环境，在水面上以轻柔、受控的运动平滑滑行。相机不附着在男子或平台上。保持真实的空间连续性和自然的相机运动。
在整个体验过程中，一切都必须保持摄影感、物理可信、纪录片风格、极低对比度和柔和去饱和。
一个连续镜头。自然的湖泊环境、远处的风、柔和的水流运动和逼真的萨克斯管声音。除了场景中物理存在的乐器外，没有背景音乐。
环境提示：一个宽阔、阳光充沛的山顶草甸，长满高大的绿草和散落的紫色、白色和黄色野花，在温暖的微风中摇曳。低矮的绿色灌木点缀在田野右侧，而远处蓝绿色的起伏山丘沿着左侧地平线延伸，上方是明亮、部分多云的天空。
角色：一条长长的、连续的光泽泡泡糖粉色缎面织物，以 sweeping S 形曲线蜿蜒穿过草甸中央，从近前景一直延伸到远方。闪闪发光的粉色布料在野花上方轻柔地翻滚、泛起涟漪并飘起，如同流动的丝绸之河，风在其褶皱下移动。
环境提示：一个 sweeping 的空中视角，俯瞰南极洲广阔、冰冻的景观，包括无尽的雪覆盖的冰川、参差不齐的冰山峰和雕刻般的蓝色冰山，沐浴在清澈淡蓝色天空下清脆的极地阳光中。众多热气球点缀在地平线上，高度各异，一个巨大的奶油色、红色和蓝色条纹气球显眼地漂浮在冰盖上方中距离处。
角色提示：从第一人称视角拍摄，站在飞行热气球的编织柳条篮内，从画面右侧的皮革镶边篮边向外看，那里黑色软垫支撑杆、金属索具链和头顶气球顶篷的深色底部构成了漂移的极地远景的框架。
推动物理和人类动作真实感的前沿
Genie 4 为实时交互式模拟引入了新的真实感标准。基于对世界的先进物理理解，Genie 4 模拟现实世界的物理场景，如空气动力学、碰撞等。
最引人注目的飞跃在于 Genie 4 如何模拟人物，创造出动作自然、对环境做出有机反应、并且可以在实时中被交互式操控的角色。
环境提示：一个阳光明媚的户外庭院，中央是一座风化的石制基座，背景是柔和虚化的茂密绿色花园枝叶和清澈蓝天，沐浴在明亮温暖的午后阳光中，阳光逆光映照出清晰慢动作的空中水滴。
角色提示：一个完整、有光泽的绿色条纹西瓜放置在石制基座中央。
提示：一颗枫树种子从树上落入草丛的微距特写
提示：1980年代一个拥挤的日本乡村火车站，站台上挤满了等候的乘客。唯一一名身穿深藏青色制服的铁路检查员站在靠近镜头处，观察着场景。一列长长的深红色本地列车，车厢众多，停在最靠近镜头视角的铁轨上，横贯画面并延伸至远方。列车清晰可见于紧邻的前景中，而非远处的轨道上。人们自然地填满站台，站立、行走、上车和带着行李等候。郁郁葱葱的绿色山脉、雪松林和潮湿的夏日薄雾环绕着车站。地道的1980年代日本氛围，电影感35mm纪实摄影，真实透视，非对称构图，自然光照，微妙的胶片颗粒，照片级真实纹理。车站必须看起来真正繁忙，整个站台上可见密集的人群。红色列车必须在最近的轨道上，主导整个场景。没有空荡的站台，没有远处的列车，没有稀疏的人群，没有居中的对称构图。
模拟世界的声音
Genie 4 是我们首个原生生成音频的实时世界模型。每个世界都带有其自身环境的环境音，从林间风声到海滩拍岸的浪涛。
然而，真正的前沿是人类语音。Genie 4 引入了可即时适应的交互式对话。角色会实时交谈，并对你的输入或世界中的事件做出反应。
提示：创建一个完全三维的沉浸式彩色玻璃景观，感觉就像一扇手工制作的水晶窗被赋予生命。这个世界应当可探索，仿佛摄像机可以在一个巨大的3D彩色玻璃环境中自由移动。整个场景必须具有彩色玻璃/水晶窗的外观：半透明的彩色玻璃、深色铅条轮廓、发光的分层面板、体积深度和手工玻璃纹理。
展示一个美丽的景观，一条流动的河流穿过绿色田野，前景有花朵，树木、远山、云朵和天空中一轮光芒四射的太阳。河流应感觉像流动的半透明蓝色玻璃，花朵像直立的彩色玻璃雕塑，草地和树木像分层的彩色玻璃形态，山脉像堆叠的玻璃面板，太阳像一个发光的圆形彩色玻璃元素。一切都必须具有空间感、连贯性、发光感和手工感，具有深度以及观者可以在三维中穿行其中的感觉。
摄像机应能够穿越场景，仿佛在这个3D彩色玻璃世界中行走或滑翔。保持世界美丽、神奇，并在风格上完全一致。
绝对一切必须始终由彩色玻璃或水晶制成，包括草地、水、天空、云朵、花朵、树木、山脉、太阳以及所有可见表面。不要引入任何自然真实世界的纹理。没有真实的草地，没有真实的水，没有正常的天空，没有彩色玻璃宇宙之外的写实感。
没有文字，没有现代物品，没有彩色玻璃宇宙之外的写实感
提示：沉浸式第一人称视角，我们只能看到骑士骑手强壮的大手紧握缰绳、龙和翅膀。照片级真实、超写实的运动相机镜头，完全通过骑手自己的眼睛观看，骑手正以140公里/小时的速度骑着一头巨大的黑龙，穿越一个有许多龙和骑手的山地龙竞赛赛道。其他龙由其他骑士骑乘。
摄像机就是骑手的眼睛。摄像机附着在骑手头部，朝向前方，并随骑手头部自然移动。骑手就是观者。骑手的脸、头、躯干、身体和完整轮廓永远不可见。没有第三人称镜头，没有外部摄像机角度，没有切镜，没有从后方或侧面观看骑手的视角。
只展示骑手自然会看到的内容：龙的脖子以及靠近画面底边偶尔出现的上背部部分、飞速掠过的景观、另外两头龙及其骑手在旁边和前方竞速，以及一座城墙上有投石机的巨大城堡。一面旗帜由骑手自然携带，可能偶尔出现在画面边缘，但绝不遮挡视线或占满画面。
摄像机在整个飞行过程中保持这一确切的第一人称视角。激烈的高速竞速、有力而真实的振翅、空气动力学的重量感、强烈的风、自然的头部运动、微妙的摄像机振动、广角运动相机畸变、真实的运动模糊、电影感自然光照、物理上可信的运动。
严格的视觉约束：真正的第一人称骑手视角，没有可见的骑手，没有第三人称视角，没有外部跟踪镜头，没有无人机摄像机，没有过肩镜头，没有电影式切镜，没有摄像机漂浮在骑手身体之外，没有CGI外观，没有电子游戏感，没有3D渲染美学。
音频：深沉雷鸣般的振翅声、呼啸的高空阵风、远处火山的隆隆声和噼啪作响的火焰余烬。
提示：一段1995年香港独立浪漫剧情片的电影感微距特写，以35mm胶片拍摄。两个二十多岁、长相非传统的韩国恋人，在黎明时分骑着摩托车穿过香港郊外的一座桥。
男骑手不戴头盔，神情焦虑地环顾四周，而肤色苍白的女乘客戴着开放式头盔。他们的面孔占据前景，大而交叠，具有自然的皮肤质感和微妙的忧虑与温柔表情。
低角度全景构图，由实心黑边画框。浅景深，模糊的道路在他们身后延伸，橙色路灯掠过，深绿色的黄昏天空。亲密、不完美、忧郁的35mm胶片美学。
一个连续镜头。
用 Gemini 模型模拟复杂事件
将 Gemini 和 Genie 4 结合在一起，为世界模拟增加了一层新的推理能力，使我们能够对复杂的多步骤事件进行建模，并在将 AI 系统带入现实世界之前测试它们如何在不同环境中导航。
为了实时实现这一点，Gemini 3.8 Flash 在循环中充当引导代理：当 Genie 4 实时生成世界时，Gemini 持续观察场景，将目标分解为一系列步骤，并审查传入的帧以跟踪进度并验证每一步是否成功。当世界发生变化或用户介入时，Gemini 会即时调整其计划，从而解锁具有可靠因果关系、程序化行为和多步骤推理的世界。
提示：Universal Robots UR5 拿着移液管，将液体滴入实验室板中，触发微小的电火花。
提示：一段真实、超写实、高端35mm电影感第一人称视角（POV）体验，场景设在一间华丽而幽闭的复古沙龙内，严格避免任何电子游戏、CGI或数字渲染美学。真实场所，电影感，而非渲染。
POV与前景魔杖：真实的第一人称视角，沿着玩家实体的右手向下看，那只手紧紧握着一根华丽的手工雕刻硬木与抛光黄铜巫师魔杖，指向房间内。玩家的皮肤在环境室内光线下呈现出真实的毛孔、皮肤褶皱、角质层纹理和自然的肌肉张力。魔杖显示出细腻的木纹、微小的清漆微裂纹、冰冷的金属黄铜镶嵌以及因握持而产生的触感表面磨损。
瓷器动物群与房间建筑：一个令人窒息的巴洛克风格画廊，从地板到天花板堆满了成千上万件易碎、真人大小的和微型的釉面瓷器动物。闪闪发光的陶瓷孔雀有着复杂的羽毛图案和鲜艳的钴蓝与祖母绿珐琅，高贵的瓷狗和蜷缩的瓷猫栖息在大理石壁炉架、桃花心木展示架和天鹅绒覆盖的基座上。表面展现出真实的高光泽陶瓷釉面、珐琅中的微小龟裂纹、精致的骨瓷半透明感，以及缝隙中积聚的自然灰尘。
电影光学与照明：使用高端变形35mm电影镜头拍摄。自然光学特性包括浅景深、微妙的桶形畸变、真实的光学镜头光晕、细腻的有机胶片颗粒以及背景中柔滑的散景。自然日光透过高大、布满污渍的维多利亚蕾丝窗帘照射进来，投射出柔和体积感的尘埃微粒，并在光滑弯曲的瓷器釉面上形成锐利、物理精确的镜面高光。
动态运动与物理交互：连续、平滑的手持POV穿行。玩家微妙地挥动魔杖并指向陶瓷人偶，随着脚步踩在吱吱作响的硬木地板上，画面中产生真实的微振动。人偶保持着完美、脆弱的静止，随着魔杖移动而捕捉到变化的高光。
声学氛围：原始、沉浸式的纪录片级音频。脚下微弱的地板吱呀声、远处的房间底噪、安静的呼吸声、手指调整木杖握持时微妙的干摩擦声，以及精细瓷器在安静空气中微微振动发出的精致水晶般叮当共鸣。
一位真正的魔术师站在一张高木桌旁。桌上有一个大型长方形木箱，顶部完全敞开，没有盖子。
一只真正的孔雀平静地站在箱子里。
出色的制作设计、精致的艺术指导、电影感照明、自然但精心控制的光线、真实的肤色、美丽的对比、微妙的阴影、丰富的纹理、优雅的构图、浅景深、高端电影摄影机、真实的人类演员、极其逼真。
它应该看起来像一部著名、拍摄精美的现代电视剧中的一帧：低调、昂贵、电影感且完全可信。
没有戏剧，没有舞台，没有幻想，没有卡通，没有塑料感的人，没有CGI外观。
提示：冠鹤走过雪地，下方是晴朗的黄昏渐变天空。纪录片风格的自然色彩。
作为探索这一能力的一部分，我们还一直在试验 Gemini 4 Argon 和 Genie 4，将我们的前沿研究与 Gemini Robotics 结合在一起。
在下面的示例中，Argon 将用户指示的任务分解为步骤，供 Genie 渲染。当模拟正在渲染时，这些步骤作为文本说明交错提供给 Genie 4。由于 Genie 4 可以使用 Gemini 通过文本说明实时操控，这如今解锁了在模拟推进以完成该任务的过程中调整模拟的路径。这一能力成为使用 Gemini 4 Argon 和 Genie 4 在想象世界中模拟广泛场景的一条路径。
Gemini 4 Argon 和 Genie 4 协同工作，模拟 Apptronik 的 Apollo 人形机器人下跳棋，将任务分解为实时步骤。
来自可信测试者的经验
虽然 Genie 4 是一项重大的研究里程碑，但它仍是一个早期的实验性模型。为了解交互式世界模型如何支持现实世界的工作流程——以及它们仍需在哪些方面成长——我们一直在与来自创意产业、新闻业、教育、游戏和工程领域的多批可信测试者合作。
测试者强调了照片级真实感、原生音频和实时操控方面的飞跃如何使想法和概念转化为逼真的模拟，从而在各学科中解锁新的能力：
- 创意指导：创意人士和技术专家正在将 Genie 4 作为用于预可视化和构思的快速“草稿模式”进行测试。例如，电影制作人可以步入一个场景的实时模拟，并实时进行多次“拍摄”，随时调整摄像机角度、灯光、对话和动作。
- 历史场景与沉浸式照片：新闻摄影记者正在探索如何将单张 2D 档案照片在几秒内转变为该环境的接地模拟。团队正在测试有人物活动的动态世界如何帮助体验历史空间，或将山洪或野火等短期环境事件的可视化呈现。
- 交互式体验概念设计：游戏开发者和创意技术专家正在测试 Genie 4，以在几秒内从初始想法变为可探索的原型，在编写任何一行引擎代码之前，通过自然语言提示测试视觉风格、材质美学和交互机制。
- 模拟：除了我们的机器人研究之外，各行业的企业合作伙伴正在评估 Genie 4 作为快速“从零到一”场景生成的工具，并找出差距，以进一步改进 Genie，从而最好地满足该模拟需求。
未来工作：迈向混合世界模型
未来进展的一条有前景的路径在于混合世界模型，它将代码和语言模型的逻辑化、结构化推理与像素级模拟的丰富感官表征相结合。
让 Genie 和 Gemini 模型更紧密地结合是这一方向的早期一步。Gemini 在幕后工作，映射结构并规划叙事时间线，而 Genie 则生成即时的物理现实——逐像素渲染世界的外观、声音和响应方式。这些互补的优势结合在一起，可以解锁一类全新的世界模型，它们比任一方法单独所能实现的都更加连贯、可控和接地。
负责任地构建世界模型
Genie 4 标志着一个前沿研究的新领域，它融合了实时生成和照片级真实感，带来了一系列新的能力和维度，我们希望以负责任的方式推出和探索。Genie 4 包含严格的安全护栏，与我们其他模型的安全政策保持一致。在发布此预览版之前，我们通过内部严格的安全评估对 Genie 4 进行了评估，以防止生成有害或恶意内容。此外，我们有意先将其部署给可信测试合作伙伴以获取早期反馈，然后再更广泛地发布该模型。
为保持透明度，Genie 4 生成的所有视频和音频都将包含 SynthID，这是我们不可察觉的数字水印技术，有助于在视觉和音频模态中识别 AI 生成的内容。
理解当前的局限
Genie 4 仍是一个早期、不断发展的研究领域。
虽然它可以在短会话中保持连贯的环境，但视觉细节和物体恒存性仍可能随时间发生偏移或漂移——尤其是当模拟运行时间更长、经过多次复杂的提示编辑后，或在场景中导航时。复杂的物理交互、实时音频准确性、渲染清晰可读的文本、空间准确性和长期一致性都是正在进行的活跃研究领域。我们以预览形式分享 Genie 4，以便与我们的社区共同学习，并安全地推进交互式模拟的前沿。
Genie 4 的后续步骤
Genie 4 已作为研究预览版发布给可信测试者，并将很快在 Project Genie 中向 Google AI Ultra 订阅者、在 Gemini API 和 Google AI Studio 中向早期访问合作伙伴推出。在此处加入 Project Genie 中 Genie 4 的等候名单。
我们很高兴用户能很快步入其中、进行实验，并构建自己的交互式世界。
致谢
Genie 4 的诞生得益于以下人员的核心贡献：Hang Qi、Diego Rivas、Aleksander Hołyński、Inbar Mosseri、Jack Parker-Holder、Shlomi Fruchter、Tejas Kulkarni、James Assiene、Philip Ball、Jakob Bauer、Eddie Cao、Lucy Chai、Harris Chan、Kleopatra Chatziprimou、Hao Chen、Yoni Choukroun、Mark Collier、Enric Corona、Kurtis David、Ariel Ephrat、Maxime Gazeau、Ruiqi Gao、Chelsee Glover-Odom、Liangke Gui、Swaroop Guntupalli、Shan Han、Tingbo Hou、Jiri Hron、Hui Huang、Drew A. Hudson、Zhouyuan Huo、Linyi Jin、Christos Kaplanis、Dhrupad Karwa、Eunyoung Kim、Congtao Kuang、Eliot Laidlaw、José Lezama、Hao Li、Shuang Li、Yuchen Liu、Hanzi Mao、Mark Matthews、Matt McGill、Kay McKinney、Ricardo Monti、Mark Murphy、Joseph Ortiz、Roni Paiss、Frank Perbet、Ben Poole、Tal Reiss、Konstantinos Rematas、Guy Scully、Jeremy Shar、Shashank Shastry、Sri S、Omer Tov、Ruben Villegas、Andrey Voynov、Hongjie Wang、Luyu Wang、Kaustubh Sridhar、Mo Samsami、Stephen Spencer、Yufei Wang、Will Whitney、Rundi Wu、Joyce (Jingjing) Xie、Jesse Yin、Shiran Zada、Serena Zhang、Xiaofan Zhang、Zhengqi Li、Zhixing Zhang、Yuan Zhong、Shuo-yiin Chang、Dmitry Lagun、Ronny Huang、Yao Su、Ankush Gupta、Genzhi Ye、Haolin Jia、Weiqin Wang、Xi Xiong、Salah Zaiem、Carol Zheng。
Genie 4 还需要各合作团队的紧密协作，我们感谢所有使此次发布成为可能的跨职能合作伙伴：Dina Bashkirova、Emil Bergner、Greta Borisko、Irina Blok、Melissa Byun、Gabe Clapper、Viral Carpenter、Michael Y. Chang、Maximo Cudich-Sieburger、Chloe Doan、Alisa Fortin、Shivani Ghanta、Vikram Gopali、Ezra Gorman、Khyatti Gupta、Sam Hasinoff、Philipp Henzler、Hector Hinestroza、Ed Hirst、Tyler Holland、Kristian Holsheimer、Tiffany Hu、Kapil Joshi、Randeep Katari、Pavan Kumar、Vikhyat Kumeria、Sam Kvaalen、Matthew Levine、Yinxiao Li、Yuchi Liu、Miao Luo、Nick Matarese、Kangfu Mei、Signe Nørly、Moises Oliveira、Eric Paskie、Manika Puri、Susanna Ricco、Andrey Ryabtsev、Cai Schumann、Nicole Brichtova、Andy Sekyere、Grace Shih、Melissa Smith、Duncan Noble Smith、Kenda Stewart、Rod Strougo、Jenn Sturgeon、Amy Zeng、Gaby Pearl、Eleanor Tomlinson、Kenyon Watson、Inês Ayer、Luke Talbot、Han-Yun Tsao、Guillaume Vernade、Karen Wang、Changchang Wu、Ian Wilkinson、Weijuan Xi、Jennifer Yick、Yunhan Zhao、Eric Zhang、Jason Zhang、Annie Zhou、James Zhou、Chris Walker、Alan Yam、Alex Chen、Cliff Lungaretti、Dan Motzenbecker、Kaloyan Kolev、Matthew Carey、Nate Zucker、Sam Lawton、Shashwath Santosh、Suz Chambers。
感谢 Raia Hadsell、Aäron van den Oord、Josh Woodward、Steve Seitz、Carlos Hernandez、Elias Roman、Jung E. Kim、Abhishek Bapna、Eli Collins、Tulsee Doshi、Carolina Parada、Jie Tan、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中给予的富有洞见的指导与支持。
最后，我们感谢值得信赖的测试者和早期访问用户，他们提供的反馈帮助引导我们的研究向前推进。