2026年10月14日 2026年10月14日 Eval Integrity:答案泄漏與評估識別怎樣影響 Agent 測試? 結合 BrowseComp 案例,區分 Benchmark Contamination 與 Eval Awareness,理解開放網絡、代碼執行和多 Agent 搜索怎樣影響答案來源,再分析執行軌跡、評估邊界與成績解釋。 AgentAnthropicEvaluation學習筆記
2026年10月14日 2026年10月14日 Eval Reliability:怎樣區分 Agent 能力與運行環境的影響? 理解 Agent 評估中的基礎設施噪聲:區分代碼錯誤、環境故障與資源約束,分析 CPU、內存和時間預算怎樣影響執行,再用對照實驗與完整報告解釋分數差異。 AgentAnthropicEvaluation學習筆記
2026年10月14日 2026年10月14日 Evaluation Design:模型變強後,測試怎樣保持區分度? 從性能工程測驗的迭代案例理解評估設計:怎樣確定能力目標、識別測試飽和,區分難度與新穎性,並在真實任務、有效區分和完成成本之間取捨。 AgentAnthropicEvaluation學習筆記
2026年10月14日 2026年10月14日 Trace Evaluation:怎樣從執行軌跡定位 Agent 的問題? 理解 Trace 與 Span 怎樣記錄工作流,區分結果評分和行為評分,再圍繞工具、交接、Guardrail 與反饋恢復建立證據標準,用批量評估比較不同版本。 AgentOpenAIEvaluationTracing學習筆記
2026年10月14日 2026年10月14日 Agent Eval:怎樣衡量任務結果、執行過程與穩定性? 從 Task、Trial、Transcript 與 Outcome 理解一次 Agent 評估,梳理 Grader 的選擇與組合、pass@k 與 pass^k 的區別,以及能力評估、迴歸評估和評估集的持續維護。 AgentAnthropicEvaluation學習筆記