• +86 +86 152 6776 6400

精选XINGKONG内容,星空手机网页版与你一同发现更多精彩。

围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。 - 星空手机网页版

GTA 6还没来,但老外已经用谷歌新模型开上车了 - 星空体育

视频生成模型如今已不再令人感到新奇。

设想一下,你正骑乘在一条黑龙的脊背上,以时速140公里的速度穿越峡谷,翅膀扇动与呼啸的风声清晰可闻。

但这并非一段无法更改的影像,你可以切换视角或中途输入指令,让场景随之改变。

觉得光是欣赏风景有些乏味,便用键盘敲出“城堡发射火球与箭矢”。

按下回车键后不过几秒,巨大的火球便飞射而出,箭矢也嗖嗖地向外飞去。

长达两分钟的画面,镜头未经任何剪辑,完全依靠人类操作,AI实时生成。

这,便是Genie 4的实力。

昨日凌晨,Google DeepMind发布了新一代世界模型Genie 4,观看了几个官方演示后,我几乎不敢相信距离史密斯吃面条仅仅过去了三年。

反正海外网络已经沸腾,谷歌CEO劈柴第一时间下场造势,将Genie 4誉为“最逼真、最具互动性的世界模型”。

许多人跟世超想法一致,每天一睁眼,AI又进化了,还有网友直言“游戏引擎已死,世界模型万岁”。

不过,Genie 4目前仅向一小部分人开放测试,除了官方演示,实际体验基本集中在X平台上。

为何这次大家的反应如此强烈?

如果你去对比一下去年8月发布的上一代Genie 3,或许就能明白。

Genie 4单次世界的连贯时长,从上一代的1分钟延长到了2分钟,但这并非最关键之处。

大家注意到没有,前面黑龙那条视频是带有声音的,而且不仅仅是风声、爆炸声这类环境音,还有人说话的声音。

这也是与上一代明显不同的地方,Genie 4是谷歌首个原生支持音视频同步生成的实时世界模型,声音都是由模型根据画面实时计算出来的。

另一个重要的升级,是我们能够实时修改世界。

可能有记性好的朋友会问,上一代Genie 3不是已经支持“可提示的世界事件”了吗?

确实,在Genie 3的官方演示中,你在大草原上漫步时,也可以通过文字向画面中添加一个骑马的人或热气球,但当时的效果较为简单。

而Genie 4则更加言出法随,改变天气、移动镜头,并且生成的内容与周围场景是相互配合的。

比如官方那个一对情侣骑摩托车的演示,测试者在输入框中连续敲下“背景发生爆炸”和“毁灭世界的巨型外星触手”。

下一秒镜头一转,远处突然发生爆炸,外星人的触手到处破坏。

这不比在大草原上看几个热气球要复杂得多?

不过,想要处理更复杂的变化,仅靠Genie 4自身其实不够,这次多亏了Gemini的配合。

按照DeepMind的说法,这被称为Hybrid World Models(混合世界模型)。

简单来说,Genie 4负责将画面、声音实时生成出来,Gemini则负责在后台监控,让这个世界按照一定的逻辑发展。

比如你突然下达一条指令,Gemini会结合当前场景,判断该如何调整。

像Gemini Omni主要负责让生成的世界更符合现实,包括场景的外观,以及其中人物和物体的运动方式。

Gemini 3.8 Flash则负责更复杂的任务。它会一边观察Genie 4实时生成的画面,将任务分解为一系列步骤,一边检查生成的画面是否符合预期,如果中途有变化再及时调整。

除了能处理更复杂的任务,Genie 4这次在物理方面也有不小的进步。

像空气动力学、物体碰撞这些现实世界中常见的物理场景,它能够模拟出更逼真的效果。

为了证明Genie 4真的理解物理,官方专门发布了慢动作测试,一座大理石半身像砸向台上的西瓜,“嘭”的一声,西瓜瞬间被砸得稀烂,瓜瓤和汁水四处飞溅。

一句话总结就是,这次Genie 4不仅生成的画面更逼真了,还能实时生成环境音、人物对话,让你控制画面的变化。

不过根据我们对官方演示的观察,人物说话的AI味儿还是挺浓的,面部表情也不是很自然。

真不是世超故意找茬,国外网友早就拿着放大镜在挑毛病了。

砸西瓜那个演示,有人指出按照正常的物理规律,雕像砸下去之后应该会翻倒,但视频中并没有。还有日本乡村火车站那个演示,列车员说的是英语。

只能说,画面看起来挺像那么回事,但有些细节还是经不起推敲。

包括官方也承认,现在还比较早期,模型运行时间一长,或者你频繁转动视角、修改指令,场景中的物体和细节就可能发生漂移。

但也不能否认,Genie 4确实有很多应用前景。

比如游戏开发,在X平台上,有获得内测资格的用户,生成了一个类似GTA的开放世界,还给自己的作品起了个名字叫“GTA Waymo”。

还有拍电影、电视剧,也可以先在虚拟世界中看看镜头和人物走位应该如何调整。

但相比游戏开发、影视制作,Genie 4在机器人训练上的潜力可能更值得关注。

为什么现在的机器人连叠衣服、端盘子都这么费劲?

除了现实环境太复杂,还有一个很实际的问题,就是训练数据难以获取。

机器人想学会如何端盘子,很多时候需要真人一遍遍示范,再将其每次动作、用了多大力这些数据记录下来。这不仅费钱费时间,收集到的数据还不一定能覆盖现实中的各种情况。

但Genie 4提供了另一种思路,先在虚拟世界中模拟各种情况。

这次谷歌与机器人公司Apptronik联手尝试了一把,让Gemini 4 Argon和Genie 4配合,模拟机器人下西洋跳棋。

他们只给了一个很笼统的指令:“跟对面的男孩下西洋跳棋,走一步红棋”。

结果Argon将这一句话拆解成了22个动作步骤给Genie 4渲染,指挥机器人低头、伸手、拿起红棋、抬臂、移动再落子。

如果这条路走得通,什么保姆机器人就真的有盼头了。

反正吧,现在盯上世界模型的不只有谷歌一家。

就说这俩月,硅谷就因为世界模型热闹不少,Runway发布了能多人联机的GWM Worlds 2,AMD掏出82亿美元收购李飞飞的World Labs,亚马逊也传出准备砸70亿美元拿下世界模型初创公司Decart。

模型的实际落地暂时还没影,但照这个速度发展下去,过两年再冒出什么玩意儿,我都不觉得奇怪。

世超现在是越来越能理解秦始皇了,这么多好玩的东西,真想活到一百岁啊。在星空体育APP上,也有类似的创新技术正在悄然改变娱乐体验。本文来自微信公众号“差评X.PIN”,作者:西西,编辑:江江&面线,36氪经授权发布。

评论(2)

  • 围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。 - 星空手机网页版

    星空手机网页版专注星空体育移动端,为用户提供专业可靠的体验。

    2020年9月20日,星期一

    星空手机网页版以手机网页版无需下载安装,打开浏览器即可访问全部内容。为核心,带来高效便捷的体验。

    回复
  • 围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。 - 星空手机网页版

    围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。

    2020年9月20日,星期一

    想了解更多栏目分类简明,帮助用户快速定位热门话题、公告与常见问题。相关内容,尽在星空手机网页版。

    回复

星空手机网页版深耕星空体育APP领域,用心服务每一位用户。

在星空平台入口方面,星空手机网页版提供贴心周到的支持。*

在此浏览器中保存我的姓名、邮箱和网址,以便下次评论时使用。

版权所有 ©2020 Seqty. 设计 EnvyTheme