AI恐怖体操视频腿脚乱飞,LeCun:视频生成模型根本不懂物理

发布时间:2024-07-31 14:53:31 浏览量:156次

AI体操视频衍生版本 网络大热,专家们吵翻天!

一段AI生成的体操视频,吸引了数以百万计的网友围观,LeCun等专家们也因此展开激烈讨论。

体操表演,这样算不算呢?

通过视频水印,这个视频被确认是由被称为“下一代”文生视频的Dream Machine(Luma AI推出)生成的。

众人观看后不禁议论纷纷,讨论的焦点是AI视频领域常见的话题:AI是否理解物理规律。

LeCun直言:

视频生成模型根本不懂基本物理知识,更别提人体了。

华盛顿大学教授Pedro Domingos对此更是摇头不止:

AGI可能并不会像某些人预期的那样迅速到来。

体操细节完美毁三观

自Sora横空出世以来,“AI是否理解物理规律”这个话题备受关注。

比如,Sora生成的“寄居蟹用灯泡当外壳的夜间场景”展示出海浪与沙滩的细腻交互,寄居蟹身上的纤毛活灵活现。

相比真实场景照片,唯独灯泡没有电源亮起成了突显裂痕。

Luma AI的Dream Machine同样展现出第一视角探索废弃房屋的逼真感:

因此,许多人认为Sora、Luma等视频生成模型已经理解了简单的物理规律。

然而,这次公布的视频却有点过火。

不仅腿脚乱飞,还频繁出现变戏法的大场面:

即使是高难度的空中翻身,连牛顿都要被气活了:

观众看后直呼,既不太恐怖,也勉强算不上搞笑。

LeCun直言,视频生成模型不懂物理。他解释说,尽管Sora或其他模型存在类似问题,但视频生成技术势必会随时间不断进步。

然而:

真正理解物理的学习系统不会生成内容。就像鸟类、哺乳动物等比任何视频生成系统更了解物理。但它们却不能生成详细的视频。

另有一种观点认为:

即使AI视频模型未来发展出色,生成视频质量“完美”,这是否意味着它理解了物理规律?

LeCun等的看法立刻引起网友质疑:

鸟类和哺乳动物也许能在大脑中生成详细视频,只是无法具象化成形。

然而,这一反驳并未说服LeCun。

此外,也有许多人持反对意见。

例如,谷歌DeepMind/Brain团队研究员Lucas Beyer指出:

这就像展示Dall·E几年前生成的图像,然后说现有的图像生成方式注定失败一样。

毕竟,之前生成的图像如下:

为何模型生成如此离谱视频?

有网友认为是因为缺乏体操表演数据,也有人认为是模糊处理导致模型无法理解人体结构,无法确保肢体动作连贯性。

视频生成方面更加复杂,有高度的上下文依赖性,需要丰富的标注数据进行训练,这需要更多努力。

之前SD 3也曾失败,特别是在人体生成效果上,网友也探讨过此问题,过于严格的数据审查可能误删了某些无害的成人图像,影响了模型对人体结构的理解。

另有惊喜

除了Luma AI的Dream Machine生成体操视频出问题,Runway的Gen-3也有……

同款三头六臂:

同样的空中悬浮技巧:

— 完 —

热门课程推荐

热门资讯

请绑定手机号

x

同学您好!

您已成功报名0元试学活动,老师会在第一时间与您取得联系,请保持电话畅通!
确定