AI工具使用指南、对比分析、最新资讯

什么是 Agent Evals？同时衡量结果与 trajectory

Agent Evals 是系统性地衡量一个智能体——会使用工具、分多步去达成目标的那种——是否真的能完成其任务的过程。它是 LLM 评估的演进，把评估对象从「一条输出」扩展到「一连串行动」。因为智能体会规划、调用工具并更新状态，仅凭最终输出是不够的；Google 指出你必须理解智能体行动背后的「为什么」，并把评估分为最终响应与 trajectory。五个维度是：结果（任务成功，以最终状态判断——DB 中是否存在一条预订记录，而非「我订好了」这句话）、trajectory（步骤是否合理、是否以正确顺序使用对的工具）、工具使用的正确性（对的工具与参数，检查函数名和类型）、效率（步数、token、成本、延迟——往往是被引入评估的可观测性信号），以及最终响应的质量（用 LLM-as-judge 或评分量表）。打分器有代码（快／便宜／可复现但脆弱）、LLM-as-judge（灵活但非确定性、需校准）和人工（黄金标准但昂贵——能避免就避免）。Anthropic 建议给结果而非路径打分：机械的 trajectory 匹配「太死板、太脆弱」，因为智能体会找到合理的替代方案，而 Google 和 Microsoft 则提供 trajectory 匹配指标用于诊断失败。特有陷阱包括非确定性（pass^k）、误差累积（p^t）、奖励黑客（DeepMind 的机械臂伪装抓取），以及过时或被污染的评估集。Anthropic 的实战打法：把 20～50 个生产失败变成测试用例，在 CI 中运行自动打分，区分能力评估与回归评估，并尽早编写。SWE-bench、τ-bench、WebArena、GAIA、OSWorld、BFCL 等基准是有用的参考（分数随版本变化，别照单全收）。基于官方信息，并对不确定之处加以标注。