视频生成模型如今已不再令人感到新奇。
设想一下,你正骑乘在一条黑龙的脊背上,以时速140公里的速度穿越峡谷,翅膀扇动与呼啸的风声清晰可闻。
但这并非一段无法更改的影像,你可以切换视角或中途输入指令,让场景随之改变。
觉得光是欣赏风景有些乏味,便用键盘敲出“城堡发射火球与箭矢”。
按下回车键后不过几秒,巨大的火球便飞射而出,箭矢也嗖嗖地向外飞去。
长达两分钟的画面,镜头未经任何剪辑,完全依靠人类操作,AI实时生成。
这,便是Genie 4的实力。
昨日凌晨,Google DeepMind发布了新一代世界模型Genie 4,观看了几个官方演示后,我几乎不敢相信距离史密斯吃面条仅仅过去了三年。
反正海外网络已经沸腾,谷歌CEO劈柴第一时间下场造势,将Genie 4誉为“最逼真、最具互动性的世界模型”。
许多人跟世超想法一致,每天一睁眼,AI又进化了,还有网友直言“游戏引擎已死,世界模型万岁”。
不过,Genie 4目前仅向一小部分人开放测试,除了官方演示,实际体验基本集中在X平台上。
为何这次大家的反应如此强烈?
如果你去对比一下去年8月发布的上一代Genie 3,或许就能明白。
Genie 4单次世界的连贯时长,从上一代的1分钟延长到了2分钟,但这并非最关键之处。
大家注意到没有,前面黑龙那条视频是带有声音的,而且不仅仅是风声、爆炸声这类环境音,还有人说话的声音。
这也是与上一代明显不同的地方,Genie 4是谷歌首个原生支持音视频同步生成的实时世界模型,声音都是由模型根据画面实时计算出来的。
另一个重要的升级,是我们能够实时修改世界。
可能有记性好的朋友会问,上一代Genie 3不是已经支持“可提示的世界事件”了吗?
确实,在Genie 3的官方演示中,你在大草原上漫步时,也可以通过文字向画面中添加一个骑马的人或热气球,但当时的效果较为简单。
而Genie 4则更加言出法随,改变天气、移动镜头,并且生成的内容与周围场景是相互配合的。
比如官方那个一对情侣骑摩托车的演示,测试者在输入框中连续敲下“背景发生爆炸”和“毁灭世界的巨型外星触手”。
下一秒镜头一转,远处突然发生爆炸,外星人的触手到处破坏。
这不比在大草原上看几个热气球要复杂得多?
不过,想要处理更复杂的变化,仅靠Genie 4自身其实不够,这次多亏了Gemini的配合。
按照DeepMind的说法,这被称为Hybrid World Models(混合世界模型)。
简单来说,Genie 4负责将画面、声音实时生成出来,Gemini则负责在后台监控,让这个世界按照一定的逻辑发展。
比如你突然下达一条指令,Gemini会结合当前场景,判断该如何调整。
像Gemini Omni主要负责让生成的世界更符合现实,包括场景的外观,以及其中人物和物体的运动方式。
Gemini 3.8 Flash则负责更复杂的任务。它会一边观察Genie 4实时生成的画面,将任务分解为一系列步骤,一边检查生成的画面是否符合预期,如果中途有变化再及时调整。
除了能处理更复杂的任务,Genie 4这次在物理方面也有不小的进步。
像空气动力学、物体碰撞这些现实世界中常见的物理场景,它能够模拟出更逼真的效果。
为了证明Genie 4真的理解物理,官方专门发布了慢动作测试,一座大理石半身像砸向台上的西瓜,“嘭”的一声,西瓜瞬间被砸得稀烂,瓜瓤和汁水四处飞溅。
一句话总结就是,这次Genie 4不仅生成的画面更逼真了,还能实时生成环境音、人物对话,让你控制画面的变化。
不过根据我们对官方演示的观察,人物说话的AI味儿还是挺浓的,面部表情也不是很自然。
真不是世超故意找茬,国外网友早就拿着放大镜在挑毛病了。
砸西瓜那个演示,有人指出按照正常的物理规律,雕像砸下去之后应该会翻倒,但视频中并没有。还有日本乡村火车站那个演示,列车员说的是英语。
只能说,画面看起来挺像那么回事,但有些细节还是经不起推敲。
包括官方也承认,现在还比较早期,模型运行时间一长,或者你频繁转动视角、修改指令,场景中的物体和细节就可能发生漂移。
但也不能否认,Genie 4确实有很多应用前景。
比如游戏开发,在X平台上,有获得内测资格的用户,生成了一个类似GTA的开放世界,还给自己的作品起了个名字叫“GTA Waymo”。
还有拍电影、电视剧,也可以先在虚拟世界中看看镜头和人物走位应该如何调整。
但相比游戏开发、影视制作,Genie 4在机器人训练上的潜力可能更值得关注。
为什么现在的机器人连叠衣服、端盘子都这么费劲?
除了现实环境太复杂,还有一个很实际的问题,就是训练数据难以获取。
机器人想学会如何端盘子,很多时候需要真人一遍遍示范,再将其每次动作、用了多大力这些数据记录下来。这不仅费钱费时间,收集到的数据还不一定能覆盖现实中的各种情况。
但Genie 4提供了另一种思路,先在虚拟世界中模拟各种情况。
这次谷歌与机器人公司Apptronik联手尝试了一把,让Gemini 4 Argon和Genie 4配合,模拟机器人下西洋跳棋。
他们只给了一个很笼统的指令:“跟对面的男孩下西洋跳棋,走一步红棋”。
结果Argon将这一句话拆解成了22个动作步骤给Genie 4渲染,指挥机器人低头、伸手、拿起红棋、抬臂、移动再落子。
如果这条路走得通,什么保姆机器人就真的有盼头了。
反正吧,现在盯上世界模型的不只有谷歌一家。
就说这俩月,硅谷就因为世界模型热闹不少,Runway发布了能多人联机的GWM Worlds 2,AMD掏出82亿美元收购李飞飞的World Labs,亚马逊也传出准备砸70亿美元拿下世界模型初创公司Decart。
模型的实际落地暂时还没影,但照这个速度发展下去,过两年再冒出什么玩意儿,我都不觉得奇怪。
世超现在是越来越能理解秦始皇了,这么多好玩的东西,真想活到一百岁啊。在星空体育APP上,也有类似的创新技术正在悄然改变娱乐体验。本文来自微信公众号“差评X.PIN”,作者:西西,编辑:江江&面线,36氪经授权发布。
在星空平台入口方面,星空手机网页版提供贴心周到的支持。*
版权所有 ©2020 Seqty. 设计 EnvyTheme
评论(2)
星空手机网页版专注星空体育移动端,为用户提供专业可靠的体验。
2020年9月20日,星期一星空手机网页版以手机网页版无需下载安装,打开浏览器即可访问全部内容。为核心,带来高效便捷的体验。
回复围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。
2020年9月20日,星期一想了解更多栏目分类简明,帮助用户快速定位热门话题、公告与常见问题。相关内容,尽在星空手机网页版。
回复