火星网校
AI模型学会了玩《我的世界》:砍树、造箱子、制作石镐样样不差
发布时间：2024-06-09 20:20:08 浏览量：364次
AI“学会”了在《我的世界》中玩耍：砍树、制作箱子、打造石镐样样在行
《我的世界》里，玩家不一定都是人类，现在 AI 也会玩了。
《我的世界》是全球知名度最高的开放世界游戏。小朋友只需观看十分钟的教学视频，就能学会在游戏中寻找稀有的钻石，但这却是 AI 此前无法企及的高度。
今天 OpenAI 的研究团队宣布他们开发了一种能玩《我的世界》的智能体，其中使用《我的世界》游戏大量未标记视频数据集训练神经网络，仅使用少量标记数据。
论文地址：点击咨询
我们先来看下效果，模型建造一个简陋的木制避难所：
制作石镐
VPT 方法
互联网包含大量可供我们学习的公开视频，例如游戏玩家演示游戏玩法，《我的世界》玩家建造一个错综复杂的房子。然而这些视频只提供了事情发生的记录，而不是确切的实现方式，即没有说明鼠标移动和按键的确切顺序。
相比于 OpenAI 的大型语言模型，要在视频游戏等更通用领域构建大型基础模型（foundation model），缺乏动作标签带来了新的挑战。
为了利用互联网上可用的大量未标记视频数据，该研究提出了一种新颖但简单的半监督模仿学习方法：视频预训练（VPT）。
该研究首先从游戏商家那里收集了一个小型数据集，其中不仅记录了玩游戏的视频，还记录了玩家采取的行动，即按键和鼠标的移动。利用这些数据，该研究训练了一个逆动力学模型 (IDM)，以预测视频中每个步骤所采取的动作。重要的是，IDM 可以使用过去和未来的信息来猜测每一步动作。与仅给定过去视频帧预测动作的行为克隆任务相比，这种任务要容易得多，需要的数据也要少得多。然后该研究使用经过训练的 IDM 来标记更大的在线视频数据集，并通过行为克隆来学习行动。
VPT 零样本结果
该研究选择《我的世界》这个游戏中验证了所提方法，因为它 (1) 是世界上最流行的视频游戏之一，拥有大量可免费获得的视频数据，并且 (2) 是开放式的，可以提供各种各样的行为动作，类似于现实世界的应用程序（如计算机使用）。与之前的工作在《我的世界》中使用简化动作空间不同，OpenAI 的新模型使用更普遍适用、难度也更大的原生人机界面：鼠标和键盘使用 20Hz 帧率。
该研究的行为克隆模型（VPT 基础模型）使用 70000 小时的 IDM 标记在线视频进行训练，在《我的世界》中完成了强化学习几乎不可能实现的任务。新模型学会了砍树收集原木，将原木制作成木板，然后将木板制作成箱子；这个行为序列对于《我的世界》高级玩家在约 50 秒内执行 1000 个连续的游戏动作。
《我的世界》制作箱子过程中每一步所需的动作数目和时间。
此外，该模型还可以执行人类在游戏中经常执行的其他复杂技能，例如游泳、狩猎动物、食用食物以及一些《我的世界》专用技能。
游泳。
狩猎。
食用食物。
VPT 让智能体通过观看互联网上的大量视频就可以进行学习铺平了道路。与只会产生表征先验的生成视频建模或对比方法相比，VPT 提供了在更多领域可以直接学习大规模行为先验的可能性，而不仅仅是语言。
此外，该研究还开源了数据、《我的世界》所需环境、模型代码、模型权重，他们希望这些开源有助于未来 VPT 的研究。
原文链接：点击咨询
热门课程推荐
热门资讯
-
想了解动画制作和影视特效的区别吗？本文将带您深入探讨动画制作和影视特效之间的关系，帮助你更好地理解这两者的差异。
-
想知道快影、剪映、快剪辑这三款软件哪个更适合小白？看看这篇对比评测，带你了解这三款软件的功能和特点，快速选择适合自己的视频剪辑软件。
-
剪映专业版新增全局预览缩放功能，可以轻松放大或缩小时间轨道。学习如何使用时间线缩放功能，提升剪辑效率。
-
4. 豆瓣8.3《铁皮鼓》|电影符号学背后的视觉盛宴、社会隐喻主题
文|悦儿(叮咚,好电影来了!)《铁皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社会隐喻主题;以及对于普通观众来说,它又带给我们哪些现实启发...
-
5. 从宏观蒙太奇思维、中观叙事结构、微观剪辑手法解读《花样年华》
中观层面完成叙事结构、以及微观层面的剪辑手法,3个层次来解读下电影《花样年华》的蒙太奇魅力。一、 宏观层面:运用蒙太奇思维构建电影剧本雏形。蒙...
-
1、每个切点需要理由和动机 很剪辑师认为,赋予每一个切点动机是非常困难的。很多...
-
15种电影剪辑/转场手法，让影片更吸引眼球！回顾电影中丰富多样的专场技巧，比如瞬间从一个场景中变换到空中... 现在是测试技术的时候了！以下是一些常见剪辑手法，让你观影过程更加华丽动人！
-
本文介绍了十款强大的PR视频剪辑插件，帮助提升视频剪辑效率，提高创作品质，并降低创作难度。
-
9. 《肖申克的救赎》通过镜头语言，向观众展现了安迪自我救赎的过程
以突出剧情的紧张氛围和角色的情感变化。此外,电影的拍摄手法和剪辑方案还与影片的叙事结构和主题紧密相连。导演巧妙地运用回忆、闪回和象征性镜头等...
-
电影创作者可以通过表意、造型、画面展示等元素对隐身性的含义进行隐喻,打... 电影和梦境都具有普遍性的象征意义,梦境中的元素能够代表人内心的欲望,...
