近期，DeepMind这家著名的人工智能研究实验室展示了具有突出表现的AI代理，能够在各种前所未见的3D游戏环境中表现出色。尽管DeepMind此前一直致力于开发面向战略游戏（如围棋和国际象棋）以及没有明确规则说明的学习游戏的AI模型，但这一新成就展示了AI代理在理解不同游戏环境并根据自然语言指令执行任务的能力。
为了实现这一壮举，DeepMind与游戏工作室合作，如Hello Games、Tuxedo Labs和Coffee Stain，培训他们的Scalable Instructable Multiworld Agent（SIMA）在多样化的九款游戏中。除了这些游戏，研究人员还利用了四个研究环境，包括一个基于Unity的环境，在该环境中，代理被指导使用建筑块创建雕塑。通过这种全面的方法，针对3D虚拟环境设计的AI代理SIMA暴露于各种不同的视觉风格和视角，涵盖了第一人称到第三人称视角。
SIMA组合中的每个游戏都呈现出一个独特的交互世界，并具有自己的一套需要掌握的技能，包括导航、资源开采、太空飞行和物品制作。DeepMind的研究人员强调，精通在各种视频游戏环境中遵循指示并完成任务可以为开发更具适应性的AI代理铺平道路，这些代理能够有效地在任何环境中运作。
为了训练SIMA，研究人员观察了人类的游戏过程并记录了用于执行动作的相应键盘和鼠标输入。然后利用这些数据训练SIMA，SIMA利用“精确的图像-语言映射和预测屏幕上动作的视频模型”。因此，SIMA能够理解多样的环境并执行任务以实现特定目标。
SIMA的独特之处在于它不需要获得游戏的源代码或API；它可以仅使用两个输入在商业版本的游戏中运行：屏幕上的视觉和用户指示。通过使用与人类相同的输入方法-键盘和鼠标-DeepMind声称SIMA可以在几乎任何虚拟环境中运作。
对SIMA表现的评估集中在数百项基本技能上，这些技能可以在短时间内执行，涵盖了导航（“向右转”）、对象交互（“拾取蘑菇”）以及基于菜单的任务，例如打开地图或制作物品。DeepMind的最终目标是使代理能够执行基于自然语言提示的更复杂、多阶段的任务，如“找到资源并建造营地”。
关于SIMA的表现，它已经在多个训练标准上展现出令人鼓舞的结果。值得注意的是，在所有九款游戏上接受训练的代理明显优于仅在一款游戏上接受训练的代理。此外，接受了八款游戏训练的代理的表现几乎与仅在第九款游戏上接受训练的代理一样出色，展示了SIMA在训练之外的泛化能力。
然而，要使SIMA取得真正的成功，语言输入至关重要。在没有提供语言训练或指导的测试中，代理表现出无目标的行为，优先考虑常见动作，如采集资源，而不是遵循具体指示。这强调了语言理解在有效引导AI代理行动中的关键作用。
DeepMind承认，这项研究仍处于早期阶段，尽管结果令人鼓舞，但需要进一步发展来提高SIMA的性能和泛化能力。团队设想代理的未来版本将提升其理解能力和执行更复杂任务的能力。最终，DeepMind的目标是开发可以安全有效地执行各种任务的AI系统，协助在线和现实世界中的个体。
常见问题解答
The source of the article is from the blog foodnext.nl