Agent-S

最先进性能

Agent S2 展示了卓越的计算机和手机使用能力，在关键基准挑战中取得了显著进步。
‍
在计算机使用方面，Agent S2 在 OSWorld 的 15 步和 50 步评估（最实用的两种真实世界使用设置）中均取得了最先进的成果，证明了我们的代理框架能够采取更精确的行动，为任务生成最佳计划，同时能够自我纠正并在长期内不断改进。值得注意的是，Agent S2 在 50 步评估中达到了 34.5%的准确率，超过了之前的 SOTA（OpenAI CUA/Operator 的 32.6%），展示了代理框架如何超越单个训练模型进行扩展。

在智能手机使用方面，Agent S2 在 AndroidWorld 中实现了 50%的准确率，超过了之前的 SOTA（UI-TARS 的 46.8%），展示了代理框架在不同视觉 UI 环境中的泛化能力。

为什么模块化框架很重要：灵感来自人脑

人类大脑是模块化设计的杰出例子——一个由专门组件协同工作的网络。不同的区域擅长不同的任务：左半球驱动分析思维，右半球激发创造力，而运动和感官区域则负责身体协调。这种模块化结构，优化了协作，启发了我们如何设计用于计算机使用的 AI 代理。

在 Simular，我们相信最有效的 AI 代理应该遵循类似的原则——无缝协调各种模型的模块化框架，而不是依赖于单一的整体系统。我们的初始代理框架 Agent S 于 2024 年 10 月 11 日推出，体现了这一愿景。以经验增强的分层规划为核心，Agent S 在当时的模型和框架中实现了更好的整体性能。
‍
我们的最新研究进一步表明，一个设计良好的模块化框架，即使单个模型不是最优的，也能超越最好的独立模型。为什么？因为不同的模型在不同领域表现出色，每个模型都有其独特的优势和劣势。一个强大的框架优化了这些模块之间的协调，确保每个模型在其最擅长的领域发挥作用，从而实现更优越的整体效果。在基础模型快速发展的领域中，模块化是关键。我们的下一代代理框架，Agent S2，凭借其改进的模块化和灵活性，实现了显著更好的感知、规划和精细控制。

Agent S2：它的工作原理

Agent S2 是通过模块化和可扩展的方法来处理复杂数字任务的。其框架强调四个关键设计原则：

主动分层规划
Agent S2 遵循自然任务层次结构，结合<强 id=0>用于低级执行的专业模型与<强 id=1>用于高级规划的一般化模型 。低级任务，如 UI 元素选择或文本突出显示，需要高精度和特定领域的专业知识，而高级任务则需要更广泛的适应性和战略监督。此外，Agent S2 的关键进步是其从<强 id=2>反应式到主动规划的转变 。Agent S2 不是在遇到错误后才重新规划，这需要更多步骤来回溯，并可能导致更多错误，而是在每个子任务之后动态更新其计划。这种主动方法提高了对实时变化的适应性，保持了从一项子任务到下一项子任务的连续性，并优化了未来步骤。

<强 id=0>视觉定位以实现精确交互
Agent S2 通过专门的视觉定位模型实现了与图形用户界面（GUI）的高精度交互。与前辈不同，前辈依赖于可访问性树进行 UI 理解，Agent S2 仅以原始截图作为输入 ，消除了对结构化可访问性数据的需要。通过将视觉理解委托给专用模型，Agent S2 可以准确定位和操作 UI 元素，如按钮、文本、图像和单元格——实现了以前受可访问性限制而受限的精细控制。

智能代理-计算机接口与专家模块
Agent S2 通过将复杂的低级任务，如文本突出显示，卸载到专门的专家模块来改进其代理-计算机接口（ACI）。这减少了基础模型上的认知负荷 ，使它们能够专注于高级规划和战略决策。

代理记忆机制
Agent S2 采用持续学习记忆机制，能够随着经验不断进化，提高效率。之前完成任务的经验被保留下来，使 Agent S2 能够回忆先前的行动，并根据历史成功和失败来优化未来的策略。这种自适应学习能力使 Agent S2 在每次应用中变得更加熟练，为长期自适应智能和个性化自动化奠定基础。

这种模块化架构也使得扩展和适应变得轻而易举。由基础模型或专家模型提供动力的新模块可以轻松集成、移除或更换，使 Agent S2 能够轻松快速地适应新的任务领域。