Cradle框架
Cradle框架旨在使基础模型能够通过与人类相同的通用接口(屏幕作为输入,键盘和鼠标操作作为输出)执行复杂的计算机任务。该框架在Red Dead Redemption II游戏中进行了案例研究,展示了其在复杂环境中的泛化和适应能力。
SIMA(Scalable Instructable Multiworld Agent)是DeepMind推出的一个通用AI代理,它能够理解广泛的游戏世界,并通过自然语言指令在其中执行任务。这项研究标志着AI代理首次展示出能够理解多种游戏环境并遵循指令的能力。SIMA不需要访问游戏的源代码或特定的API,它只需要屏幕上的图像和用户简单的自然语言指令作为输入。