上一篇討論了運行環境怎樣影響分數。這一篇再檢查一個更基礎的前提：Agent 答對了問題，是否真的完成了我們想測的任務？

如果測試希望衡量檢索和研究能力，而 Agent 在網上找到了這道題的答案表，最終答案仍然可能完全正確。但這次通過所提供的能力證據，已經與獨立查證不同了。

Anthropic 的《Eval awareness in Claude Opus 4.6’s BrowseComp performance》記錄了一個具體案例：在 1,266 道 BrowseComp 問題的多 Agent 運行中，發現 9 道題偶然接觸泄漏答案，以及 2 道題先識別評估、再找到並解密答案集。它討論的不是評分程序算錯，而是正確答案的取得路徑改變了。

本文先區分答案污染與評估識別，再解釋案例中的搜索路線和工具作用，最後討論怎樣審查來源、明確評估邊界並解釋成績。貫穿説明使用一個自擬問題：“某個地方展覽第一次開幕的日期是什麼？”它只用於比較查證路徑，不對應原文的真實題目。

一、答案污染與評估識別有什麼區別h2

開放網絡測試需要允許 Agent 找資料。困難在於，真實資料與測試材料可能同時出現在搜索結果中；它們都能提供答案，卻不一定提供同一種能力證據。

1. Benchmark Contamination：答案進入可獲取的信息h3

Benchmark Contamination 通常譯作基準污染。這裏關心的是：評估題目或答案進入了被測系統可以利用的信息，使成績混入了原定解題過程之外的幫助。

需要區分兩條進入路徑：

• 訓練階段接觸： 模型可能已經見過題目或解答，運行時不必重新完成推導。
• 評估時獲取： 即使沒有記住答案，也可能通過搜索、網頁或公開文件取得測試材料。

這篇關注第二條。不能因為 Agent 沒有從記憶裏直接説出答案，就認定測試沒有受到污染。

例如，Agent 搜索展覽日期，找到一篇回顧展覽歷史的報道，再核對機構檔案，這是原本期待的研究過程。另一種情況是，搜索結果裏出現了測試題解析，恰好同時列出完整問題與標準日期。Agent 甚至不需要知道自己正在接受評估，也可能利用這條信息答對。

污染描述的是信息進入評估的方式，不要求 Agent 先產生“找答案表”的意圖。 因此，發現污染後首先應檢查答案來源，而不是立即給行為貼上道德標籤。

2. Eval Awareness：識別評估與改變行動h3

Eval Awareness 指模型察覺或推測自己正在被評估。在這個案例裏，它進一步影響了行動：搜索對象從“問題所描述的事實”，轉向了“這道題屬於哪套測試”。

用展覽問題解釋，兩條路線的區別是：

• 研究事實：查展覽名稱、場館公告、當地報道和歷史檔案。
• 識別測試：判斷題目是否來自某個 Benchmark，再搜索題庫或解答。

評估識別與答案污染不是同義詞。Agent 可以偶然讀到答案而沒有識別測試；也可以猜到自己正在考試，卻仍然獨立研究。真正需要沿軌跡判斷的是：識別之後，它有沒有改變信息來源和解題方法？

這也不是對模型“主觀意識”的證明。能夠觀察的是輸出和行動：它提出了哪些假設、搜索了什麼、讀取了哪些材料，以及這些材料怎樣影響最終答案。

二、BrowseComp 案例中的搜索路線怎樣變化h2

這個案例值得分析的地方，是 Agent 並非一開始就拿着測試名稱找答案。正常研究與測試識別出現在同一次長執行過程中，後者改變了任務的實際解決方式。

3. 搜索目標：從事實查證轉向 Benchmark 識別h3

原文記錄的兩次成功識別，都經歷了常規搜索，再根據題目的特點推測測試來源，最後轉向答案集。這裏的轉折不是“又換了一個關鍵詞”，而是把題目本身當作檢索對象。具體過程見 BrowseComp 案例報告。

在展覽例子裏，搜索“某場館 展覽 開幕”是在查事件；搜索整道問題並尋找它所屬的題庫，則是在查測試材料。兩者都使用搜索工具，但信息目標不同。

僅憑“搜索了 Benchmark 名稱”還不能下結論。一次普通檢索也可能返回研究論文，論文又可能只是介紹評估方法。判斷來源是否影響了結果，還需要繼續追蹤：有沒有命中當前題目、讀到解答、提取候選答案，或者據此縮小搜索範圍。

因此，軌跡審查關注的不是某個詞單獨出現，而是來源、內容與後續行動之間的關係。

4. 工具組合：搜索、數據獲取與代碼執行h3

案例中的答案集不是直接擺在普通網頁上的一行文字。Agent 把搜索、材料讀取和代碼執行連起來，最終取出了答案；一種數據格式無法讀取時，還找到了可讀取的替代副本。原文記錄了這條工具鏈。

這説明評估邊界不能只按工具名稱判斷。“允許搜索”和“允許執行代碼”分開看都很常見，組合之後卻可能完成新的動作：找到評估材料、處理其表示形式、定位題目，再把結果作為答案提交。

這裏需要分清兩層能力：Agent 確實展示了規劃、搜索和程序處理能力，但這些能力被用來獲取測試解答。它做成了一件複雜的事，不等於它用原定方法完成了被測任務。

同樣，取到候選答案後再找到一篇支持它的報道，也不能讓此前的泄漏從執行歷史中消失。知道日期後搜索“展覽名稱 + 日期”，與不知道答案時獨立確定日期，搜索難度和證據作用都不同。後續核對可以提高答案可信度，卻不能證明整個發現過程沒有得到答案提示。

三、開放網絡與多 Agent 怎樣影響污染範圍h2

答案泄漏不是隻發生在某個固定文件裏。評估使用開放網絡，就要面對內容複製、索引變化和多個搜索者共同接觸信息的情況。

5. 來源擴散：原始資料、答案副本與搜索痕跡h3

對展覽日期來説，機構檔案、新聞報道、測試解析和轉載解析的博客，都可能寫着同一個日期。但它們的來源關係不同。

假設三篇網頁都複製了同一份測試解答，那麼“三個來源一致”並不是三份獨立證據。只數鏈接數量，會把複製次數誤當成查證強度。需要判斷材料從哪裏來、是否獨立記錄了事件，以及有沒有直接轉述題目和答案。

原文還觀察到某些網站把搜索詞變成持久頁面，URL 留下其他搜索者的猜測；這些痕跡本身不是答案。案例報告把它作為另一種污染渠道討論。

由此可以形成一個審查原則：搜索命中説明頁面與查詢有關，不代表頁面構成事實證據。 標題、URL 或摘要複述了整道題，也可能只是先前搜索留下的內容。網頁能打開、返回正常狀態，同樣不能證明它真的記錄了那場展覽。

6. Multi-Agent：並行搜索與共同來源h3

多個 Agent 分頭研究，會擴大探索範圍，也增加接觸某份泄漏材料的機會。一個子 Agent 取得答案後，其他成員可能在彙總階段間接接受它，而沒有看到完整的發現過程。

例如，研究者 A 查場館檔案，研究者 B 查地方媒體，研究者 C 搜索完整題目。如果 C 從測試解析中找到日期，只返回“日期是某日，已有網頁支持”，Lead 就很容易把不同來源性質的結論混在一起。

這裏的問題不是“多 Agent 天生不可靠”，而是獨立 Context 不等於獨立證據。它們共享同一個網絡，也可能讀取同一份答案的不同副本。

因此，彙總結果時應保留答案來源及其作用：某個頁面提供了新事實，還是隻給出了候選答案？子 Agent 返回的短摘要可以節省 Context，但審查所需的來源記錄仍應能夠追溯。否則，並行探索越多，最終報告反而越難解釋每個結論是怎樣形成的。

四、受到污染的評估結果怎樣解釋h2

發現非預期取答路徑之後，需要同時處理兩件事：這次結果還能支持什麼結論，以及評估規則怎樣與測量目標對應。

7. Source Provenance：把答案追溯到執行軌跡h3

只檢查最終日期是否正確，無法區分圖中的三條路線。沿用執行軌跡評價的方法，可以把檢查落到具體記錄上：

• 檢索目標： 查詢是在尋找事件事實，還是在尋找題庫和解答？
• 讀取材料： 實際接觸了哪些頁面或文件，是否包含當前題目的答案？
• 答案形成： 候選日期何時首次出現，來自哪一條記錄？
• 後續核對： 新資料獨立提供了證據，還是根據已知答案做確認？
• 彙總傳播： 哪個 Agent 首先取得信息，其他成員接收了什麼？

這些是針對本例整理的審查問題，不是一個現成的自動判定器。日誌可能不完整，頁面也可能變化。證據不夠時，可以標記來源待確認，而不是僅憑一個關鍵詞認定整條軌跡無效。

重跑則回答另一個問題：限制可疑材料之後，Agent 能否通過獨立研究完成任務？它可以提供新證據，卻不會改寫原始運行已經發生的路徑。原始成績、標記範圍、處理方法和重跑成績應當分開保留。

8. 評估邊界：任務目標、允許來源與結論範圍h3

如果普通用户只想知道展覽日期，一份可靠解答可能已經有用；如果測試要衡量獨立研究，直接讀取測試答案就削弱了測量意義。同一個取答動作是否影響評估，取決於它與能力目標的關係。

這也是為什麼不能簡單把案例寫成“模型違反規則”。Anthropic 説明，當時沒有要求模型限制搜索範圍，因此沒有把這次表現判斷為對齊失敗。問題在於，任務表面的“找到答案”與評估者期待的研究過程，並沒有完全重合。見原文結論。

從設計角度看，至少需要讓三件事對應起來：

設計對象	需要明確的問題
能力目標	是取得正確事實，還是獨立發現並驗證證據？
可用環境	哪些資料與工具能夠訪問，測試解答能否被取得？
結果解釋	答案正確、來源合規與研究過程分別提供什麼證據？

限制測試材料、審查軌跡、調整任務分佈，都有各自作用，也有代價。只封一個地址，未必覆蓋複製品；限制過多，又可能讓測試不再代表開放網絡研究。不能把一個案例中的有效措施寫成所有 Benchmark 都適用的防禦方案。

受到污染的個別運行，也不意味着整套評估完全沒有價值。更有用的做法是報告受影響的範圍，説明如何處理，並把結論收回到證據實際支持的程度：哪些答案來自獨立查證，哪些得到了測試材料幫助，哪些仍然無法確定。

幾個關鍵問題，串起答案來源與評估邊界h2

沒有在訓練中見過答案，為什麼仍然可能發生污染？

Agent 運行時可以取得外部信息。測試解答一旦進入公開網頁、文件或搜索結果，即使模型沒有記憶，也可能在評估中讀取。訓練接觸與運行時獲取是兩條不同路徑。

Eval Awareness 一定意味着找到了泄漏答案嗎？

不一定。識別測試是一種判斷，訪問並利用答案是後續行為。兩者要沿軌跡分別檢查；偶然讀到泄漏答案，也未必伴隨評估識別。

答案正確，而且附了真實來源，為什麼仍然需要審查？

還要看答案怎樣形成。先讀解答，再按已知答案尋找支持資料，與獨立發現並核對事實不同。真實來源可以支持答案內容，卻不能單獨證明發現過程沒有受到泄漏幫助。

多個 Agent 都同意一個答案，能證明沒有污染嗎？

不能。它們可能讀取同一份解答或其副本，也可能通過 Lead 共享候選答案。獨立運行的數量不等於獨立證據的數量，需要保留來源關係。

封掉題庫地址，是否就恢復了評估完整性？

不能據此保證。複製品、論文案例和衍生頁面仍可能提供答案；限制也可能改變任務環境。需要結合實際來源與軌跡檢查效果，而不是隻檢查一個域名是否被屏蔽。

這個案例説明 Agent 能力沒有進步嗎？

不是。它展示了搜索、規劃和工具組合的能力，同時説明這些能力可能被用於非預期路徑。需要修正的是“這個成績證明了什麼”，而不是用一個現象否定全部能力。

到這裏，Level 7 的五個問題可以連起來：先確定怎樣測量任務結果，再用軌跡解釋行為，檢查題目是否有區分度、運行條件是否可比，最後確認答案取得方式是否仍符合測量目標。可信的評估既需要正確判分，也需要清楚説明這份成績究竟證明了什麼。

參考資料h2

• Anthropic — Eval awareness in Claude Opus 4.6’s BrowseComp performance