何恺明团队新作:视觉Harness VISTA,让Claude满分通关25款ARC-AGI-3公开游戏
在交互式视觉环境中, AI Agent 能否像人一样观察、推理和行动,并在陌生世界中从交互经验里持续学习 ? ARC-AGI-3 是检验这类能力的典型基准——在多项交互式视觉游戏中,Agent 需要在不清楚游戏规则和目标的前提下,通过与环境持续交互,自主探索并理解其中的规律。 目前的主流方法,是先将画面转换为文本或结构化网格,再交给大语言模型(LLM)进行推理,并结合程序合成构建可执行的世界模型。 直接使用视觉-语言模型(VLM)处理画面,则存在一些限制 :图像通常会被编码成视觉表征,而原始视觉输入随后不再保留。这些经过压缩的视觉表征可能无法保留后续推理
阅读更多


