評測與基準測試

evals-and-benchmarks 領域的內容地圖——涵蓋 32 個概念。衡量模型的科學：基準測試效度、資料污染、飽和、LLM judges，以及取自實際產品使用情境的評估。精選入口；所有領域請見 Home。

評估抽樣中的自適應停止 — UK AISI 的 optstop（Pilditch，arXiv 2608.14425）：將 LLM 評估視為序列測量問題，當每個項目及每個模型－任務分組的 Bayesian 可信區間夠窄時，就停止抽樣；在九個驗證格中減少 57.2-97.3% 的預定試驗，合併截斷效應為 +0.0003。不過，測試規模為 200 個項目 x 10 個 epoch，低效能保護機制從未啟動；取得的是區間寬度保證，而非頻率學派涵蓋率
Aggregate Cancellation — 一種失效模式：兩個方向相反的真實效應在各分層間相加為零，導致總體指標看似持平。因此，彙總後的無效結果表示存在異質性，而非沒有影響。最清楚的實測案例來自稀疏注意力稽核：三項預先註冊的彙總檢定得到 p = 0.995 / 0.771 / 0.541，原因是各格效應方向相反。維基中的其他案例（不同正確子集合卻有相同準確率；群體合作率掩蓋一名被系統性榨取的成員）也有相同模式：數字背後的組成變了，數字本身卻沒有變
AI-Assisted Error Analysis — Shreya Shankar 說明唯一難以自動化的評測步驟：找出何謂失敗。論點關乎認知，而非技術——「好」的標準存在開發者心中，而不在追蹤記錄裡；能徹底找出並修復產品失敗的工具，也能為每個競爭對手做到同樣的事，因此判斷力成了唯一剩下的差異化因素。AI 能力沿著分析 → 衡量 → 改進的生命週期單調上升，起步階段最弱。實務上的分工是：人類撰寫失效模式分類法，代理程式建置客製化檢視介面、為追蹤記錄分群並抽樣，然後把每筆人工標註擴展到已標記的記錄中；代理程式絕不自行提出分類法，因為驗證代理程式的品味，比表達自己的品味更花成本
基準污染與去污染 — Sun、Zhan 與 Gales（Cambridge）：逐樣本分布距離顯示，以整體準確率進行去污染可能讓殘留污染更嚴重；不確定性基礎去污染（UBD）透過深層 LoRA 集成找出記憶樣本——模型對其有把握，卻對批次順序敏感——不需乾淨參考模型也能消除偏誤。另有兩種從設計上預防污染的替代方案：起始狀態超過所有模型的訓練截止點（NanoGPT），以及由從未有人解出的題目構成的題目集（FrontierMath Erdős），其免疫性只會在題目成功解出後失效。OEIS Open（2026-08）是第一個免疫性失效日期已可確定的案例：492 道題中至少 153 道現在已有公開的機器驗證證明。
基準測試的收斂與區辨效度 — Desai、Wallach、Chouldechova、Koyejo 等人（COLM 2026）借用社會科學的多特質多方法檢驗，並用於 48 個可用基準測試與 53 個模型。聲稱測量同一概念的基準，排名模型時是否相似？聲稱測量不同概念的基準，排名時是否有所區別？大多沒有。安全標籤不收斂：安全偵測的概念內 ρ 為 0.02，偏誤則為 0.20。能力標籤無法區辨：能力內與能力間 ρ 的差為 −0.00；推理與知識的相關性為 0.74，高於推理與自身的 0.66。預測兩個基準是否一致的最強因素，是兩者是否都由 LLM 評審打分（β 0.526；共享概念則為 −0.058）。BBQ-accuracy 是多數前沿模型卡回報的唯一偏誤數字，但它與推理的關聯比與偏誤更強。九項主要統計量在依模型世代分組及更換評審後都成立
Benchmark Score Redundancy — Zeng 與 Papailiopoulos：一個包含 84 個模型 × 133 個基準測試的公開分數矩陣實際上是 rank-2，因此 BenchPress 矩陣補全能以約 4.6 MedAE 預測保留分數，並以 5 個基準測試組成的探測集還原完整成績表。DeepMind 的 CollabEval 將同一前提延伸至模型 × 提示，並反轉其用途：補全結果成為預測式推論中的控制變數，因此冗餘可提供無偏估計及有效信賴區間，即使矩陣根本不是低秩也能維持正確性（而項目層級矩陣需要約 16 個成分，不是 2 個）。接著 Zhu 在單一操作者、單一 harness，且沒有任何分數由廠商回報的網格上重現冗餘現象——ρ = 0.79，單一因子占共同變異的 74.5%——這排除了回報偏誤的質疑，卻帶出一個無人控制的混淆因素：主導因子與發布日期的關聯達 R² = 0.505。
依認知能力剖析任務適配性 — Prunty 等人（Cambridge CFI）將 AI 系統與職場任務置於同一認知空間：以評分規準標註 19,535 個基準項目對 18 項能力的需求（16 項通過評分者間篩選，再分群為 8 項）；透過 Bayesian IRT 推斷潛在能力，其中難度是經標註而非估計而來；並請 410 名工作者針對每項活動，將 100 點分配給各項能力。六個系統共用一種輪廓形狀——語意記憶 5.59、社會認知 4.08、語言 4.02 居前；行動規劃 1.99、工具推理 1.22、物體恆存 0.29 居末——領先系統之間的差異在於規劃與控制，而非知識。維度分布跨度 5.30，系統分布跨度 1.12，這就是「維度勝過家族」主張的全部依據；研究未提供變異分解。衡量的是任務重要性，而非需求，也未以任何部署結果驗證
Compute-Controlled Benchmarking — Noam Brown 的批評：單一數字的基準網格忽略測試時的計算量，因此已失效；應改為繪製效能相對於成本預算的變化。內容涵蓋基準最大化、保留的私有題組、維持網格運作的 Goodhart 均衡、揭露範例（Kimi K3 的註腳、Gemini 的價格列）、首次針對明確命名的方法類別進行預算匹配測試，以及 DarwinX 這個將未定義的投入等級當作計算控制項的案例。FrontierMath Erdős（2026-09）是第一個將預算納入分數定義而非僅列為揭露項目的基準測試，也公開了更高預算的測試結果，卻拒絕給予該結果正式標籤。
跨模型錯誤糾纏 — 2026 年的三項稽核以不同構念測量 LLM 錯誤是否彼此獨立。Kuai 等人（Texas A&M，COLM 2026）以依難度條件化的虛無假設，檢驗 18 個模型的失敗：BEI（過度共同失敗）在同家族的 Llama/Qwen 配對中最高；CIG（過度碰撞於相同干擾項）則在跨廠商配對中最高。兩者都能預測評審過度認可某個目標（rho 0.44-0.52，但只基於約 26-34 個點），而去糾纏重加權比能力加權高 0.1pp。Kohli（Apple）在評審小組判決上衡量其後果：來自 7 個家族的 9 位前沿評審，Kish n_eff 僅為 2.18/9；多數決比 Condorcet 獨立預測低 22.0pp；最佳單一評審在每個資料集上都能追平或勝過小組；chain-of-thought 會加劇相關性；而使用預言機資訊的聚合最多只能縮小 11% 的差距。Hossain、Yousefi 與 Lim（UCF）則交叉驗證兩者：10 個開放權重模型組成的評審庫，其 n_eff = 3.51/10（rho-bar 0.206）；三位新加入的前沿評審（GPT-5.6-sol/Claude Opus 5/Grok 4.5）在新名單上重現跨供應商等同供應商內的相關性（0.56，共同失敗率提升 7.7 倍）；GRPO 微調使相依性略微降低，而非加以解釋；相關投票在最多 28% 的重抽樣比較中扭轉顯著性檢定結論
Discovery Certification Protocol (DCP) — CMU 對 AI 研究代理程式主張所做的結果層級稽核：關卡 1 確認密封的效用增益；關卡 2 將已登記的背景資訊及擷取的 Web 位元組交給新匹配的挑戰者（不提供目標測試本身的研究歷程），並把任何在容許誤差內的有效路徑視為否決證據；若零次重現，則計算有限樣本的恢復機率上界。選用關卡 3，從共用檢查點隨機分派真實或匹配的中性回饋政策。兩項受控稽核（SQLite 查詢最佳化、虛擬催化劑控制）都得到 0/96 次重現（上界 0.0468），並作出 Core+Evidence 判定
DRACO Benchmark — Perplexity 以 100 項取自實際產品使用情境的深度研究任務（10 個領域、40 個國家）建立的基準，由 26 位專家依準確性、完整性、客觀性與引用評分。Perplexity Deep Research 在每個領域及評分軸都領先；Claude Opus 4.6 是最強的非 Perplexity 系統；事實準確性則是所有系統共同的弱項
經濟基準測試的構念效度 — Zhu 對經雜湊固定版本的 Artificial Analysis 快照所做的心理計量稽核（421 種設定 × 12 個基準測試，其中 4 個與經濟相關；每個假設都以 96 個模型的完整案例網格檢驗）：單一因子涵蓋 74.5% 的共同變異，並與發布日期相關，R²=0.505，表示主導的「能力」軸多半反映日曆時間；四個經濟基準測試依預先設定規則未形成獨立因子，但每次重新估計各折因子的逐一留出基準測試預測，勝過單一平均指數，彙總 ΔMSE 為 0.037 [0.019, 0.055]。結論：經濟基準測試能為主要由日期驅動的一般因子增添增量預測資訊，卻未構成獨立能力；發布相隔數月的模型之間存在的差距，大多是發布日期造成的
評估期限與發布週期 — Noam Brown 指出，前沿模型可執行任務的時間跨度，增長速度快於前沿模型發布間隔。因此，不會存在一段空檔，讓模型能在後繼版本推出前，以自身能力可涵蓋的完整時間跨度接受安全評估——這為發布前評估帶來結構性的有效期限制，而語料本身的預算曲線與時間跨度曲線早已指向此結果。Brown 指出的另一面也沒有好答案：放慢發布週期以爭取評估時間，會擴大實驗室內部掌握的技術與世界可用技術之間的差距
評估期間的答案洩漏 — 代理程式在基準測試期間取得參考解答的途徑——殘留的 Git 物件、隱藏測試檔案、埋在執行個體 ID 中的目標 SHA、上游程式碼主機——而非從訓練資料取得。SWE-Bench Pro Verified（Zheng 等人，arXiv 2609.08149）在 731 項任務中封閉所有四種途徑，七個模型中有六個分數下降 14–26 點；稽核發現幾乎沒有作弊的唯一模型只下降 0.05。Ludwig 等人（NVIDIA，arXiv 2609.06780）則保留途徑開放，改為計算其發生率：SWE-bench Multilingual 上 45.1–82.4% 的一般軌跡被判定為利用漏洞；僅加入四句要求解答具有原創性的指示，就能降至 4.0–10.7%，但仍留下可由技術封鎖移除的本機 Git 存取問題
Expenditure Horizon — METR 對時間跨度概念所做的連續化推廣：在最佳化問題上，代理程式以某個預算達成的改善幅度，等於人類在相同預算下能達成的改善幅度時，所需花費的金額。其測量方式是比對代理程式的報酬－支出曲線與人力的當地報酬。NanoGPT speedrun 的概念驗證顯示，人類每提升 1% 速度需花約 $2,500；從紀錄 #78 開始的六次代理程式測試，重新驗證出的跨度為 $0-$3,300，維護者會合併約 70% 的想法，但只會採納其中 50-60% 的速度提升
GDPval Benchmark — OpenAI 對真實且具經濟價值的知識工作所做的基準測試：1,320 項任務取材自業界專業人士的實際工作成果（至少 4 年、平均 14 年經驗），涵蓋美國 GDP 占比各超過 5% 的九個產業中的 44 種職業；評分方式是與專業人士進行盲測成對勝率比較，而非計算準確率。在 220 項公開黃金子集中，分數從 12.4%（GPT-4o）到 47.6%（Claude Opus 4.1）；「大致隨時間線性成長」的說法僅以三個 OpenAI 模型為據。其速度與成本分析是本語料衡量監督成本最清楚的案例：計入專家審查及返工後，原本直覺上 474 倍的成本優勢縮小至 1.63 倍。此基準是本維基模型頁面所引用 GDPval-AA Elo 排行榜的前身
Headroom-Closed Index (HCI) — 跨基準標準化指標，呈現模型填補基準測試剩餘能力空間的比例：0 = 基準測試納入年份的第 90 百分位前沿，100 = 滿分。以 393 個模型－基準測試觀測值彙整為各領域年度軌跡。研究發現進展在水準與形狀上都不平均：到 2026 年，高等數學與研究所程度的科學分別達 86.4 與 85.8，工具代理程式為 39.9，軟體工程為 52.6；各領域的提升速度方向也不一，數學加速，從 32.8→53.6；多模態則從 59.7→2.5 大幅下滑。其弱點是標準化結果會依基準測試納入資料集的時間而變動，且底層分數表並未公開
LLM 基準測試的項目反應理論 — 使用 3PL IRT 模型而非答對率為基準測試評分，會帶來兩項可分離的結果。評分方面：整個題庫的能力 θ 會重新排序排行榜——約 4,000 個 Open LLM Leaderboard 模型中，GSM8K 有 23%、HellaSwag 有 31% 的模型移動超過 10 個名次；雖然與準確率的 Spearman 相關性為 0.99/0.96，排名仍會變動。兩個 ARC 模型的準確率為 0.713 與 0.714，能力排名卻分別為 270 與 2,612。跨基準排名一致性提升幅度遠高於半分測驗穩定性（MMLU 大學化學↔高中化學從 0.439 → 0.904）。施測方面：採用 Fisher 資訊量選題及 SE(θ̂) ≤ τ 停止規則，在 627–5,600 題中施測 30–89 題，整個題庫能力估計的 MAE 為 0.064–0.157。排名變動來自 IRT 評分，而非自適應施測；題數減少是以固定精確度換得，不是維持與完整測驗分數的固定相關性
LLM-as-a-Judge — 使用一個 LLM，依據標準或評分規準為另一個 LLM 的輸出評分。DRACO 的流程是逐項評分規準判定 MET/UNMET 並附理由，再加權彙整為標準化分數與通過率。主要特性包括：不同評審模型的排序保持穩定，但絕對分數不同；每個案例採用自適應評分規準可偵測失敗，卻也可能將失敗混合掩蓋，因此需要為受測變更行為設計穩定的客製化指標。一項涵蓋 21 位評審、約 541K 次判斷的稽核發現，原始完全匹配一致率會高估經機會校正的可靠度 33–41pp（kappa deflation）；評審需先通過機會校正、偏誤及跨基準驗證，才適合用於設定門檻。上游的 CalibratedRubric 將評分規準庫視為測量工具——可測量性、資訊量與效度彼此不同，而一致性篩選會隨排行榜規模增大而失效。OmniVChat 的分級門檻評分規準則讓漏掉一項基本條件就無法由其他條件補償
LLM-Judge Validation — UC Berkeley 對 21 位評審、9 家提供者、約 541K 次判斷所做的稽核（Norman 等人，2026）：LLM-as-a-judge 驗證系統性地不夠嚴謹——完全匹配一致率會高估經機會校正的 κ 33–41pp（kappa deflation，所有評審皆如此）；跨基準測試時，評審排名最多移動 14 名；高重測信度會掩蓋嚴重的位置偏誤（一致性－偏誤悖論）。研究將結果整理為五步驟 Minimum Viable Validation Protocol。Yang 等人（2026）補上評審版本這個面向：升級評估器不等於可靠度改善措施（18 種情況中僅一步改善，且在 4 個資料集中的 2 個，規模增加反而使情況惡化）；重複抽樣的陪審團受測得錯誤相關性 ρ ≈ 0.66–0.97 限制。Chen 等人（2026）則將問題推進至評分規準的項目：可測量性（評審一致性）、資訊量（IRT 資訊）與效度是三種不同屬性
記憶化主張的匹配比較 — Cooper 等人（arXiv 2607.12649）：只在訓練資料上測得的生成率，不等於記憶化率；必須以相同流程評分可比較的非訓練序列，才能建立可預測性基準。一種 conformal 檢定會依選定的族群假陽性率校準門檻；普查則以匹配的控制書籍校準單一文件。「可提取記憶化」重新定義為：主張須經校準，而且在實際可行的查詢預算內幾乎必然生成。
Measuring Beyond Accuracy Saturation — Princeton 主導的個案研究（arXiv 2606.26158）：準確率飽和不等於基準測試飽和——應重新設計已飽和基準測試的測量方式，而非將其退役，因為統計上無法區分的代理程式，在可靠度、成本效益、scaffold 貢獻及人機協作加速方面仍有顯著差異（CORE-Bench）。另一種飽和情況是答案鍵永不飽和，但人類參照群體會飽和；反覆重新取得該基準就成了持續成本
Orchestration-Plan Simulation — OrchBench（Ren 等人）：不實際執行工作者，就能為多代理程式協調計畫評分——以固定任務 DAG 為基礎的確定性模擬器，在約 1% 的 token 用量下，與實際 Claude Code 品質的相關性達 r=0.816。任務移交涵蓋率比代理程式數量更重要；只有在上下文受限時，多代理程式才有優勢；移除最弱規劃器後，主要相關性會大幅下降。
Production-Sourced Evaluation — 從去識別化的真實產品使用資料建立基準測試，而非使用合成或人工撰寫的任務。DRACO 的核心方法包括以難度作為抽樣代理、移除 PII、增補資料，以及搭配人工 QA 關卡的自動化更新；兼具代表性與過度具體化之間的取捨；將產品流量視為專有評測資產。另有採購方的做法：客戶從自己的工程工作建立評測，以決定採購項目；以及訓練方的做法：將產品失敗轉化為 RL 軌跡，於是難度代理與模型不再獨立。相反的極端情況是根本沒有產品流量：OmniVChat 以多代理程式引擎生成所有刺激材料，再用生成器從未接觸過的 360 段錄影驗證這種替代方案——訓練增益相符，排名卻不一致
週期性產品代理程式評估 — She 與 Lin（CMU/Meta，arXiv 2609.21267，採用者觀點的部署報告）：在 52 天內，對產品分析代理程式的 519 題基準進行 574 次測試；依時間順序分為 287 次校準與 287 次保留測試，比較隨機抽樣、歷史結果快取、固定難度分層子集，以及 Rasch／多維度 2PL 自適應測試，以評估同一個持續演進系統的週期性評估。多維度 2PL 自適應測試從 k=200 起，在分數忠實度上表現最佳（使用 38.5% 的基準題目，MAE 為 1.03pp；Rasch 為 1.37pp，隨機抽樣為 1.79pp）；小預算下則由固定難度分層子集勝出。但團隊最終仍部署固定子集，選擇操作簡便而非追求準確性，並以未重新校準的五個其他代理程式家族遷移，以及縮短至一天的校準視窗仍無損結果，來支持這項選擇。
Reference-Free Judge Over-Crediting — 參考答案是影響 LLM 評審判定的一級因素：沒有參考答案時，評審會系統性地高估錯誤答案（加入參考答案後，最多 85% 的判定翻轉——Kranti 與 Vajjala）；與無參考答案評審進行自我對弈，則會在實際準確率不變的情況下提高通過率（Zhou）。解法是要求評審先承諾自己的答案。
Scale-Dependent Prompt Sensitivity — 大型模型因過度思考，在 7.7% 的標準基準測試中表現不如小型模型；簡潔度限制可追回 26pp，並在 GSM8K/MMLU-STEM 上完全逆轉高下
Skill Lift — NVIDIA SkillEvaluator 的有無技能消融測試被轉化為發表門檻：三個發表前階段（安全與結構掃描、目錄差異性、即時沙盒 A/B 測試）；每項技能的評分規準點數變化須與產物一併回報；首個大規模基準涵蓋 300+ 項已驗證技能 × 30+ 種產品 × 2 個 harness，正確性 +41、效能 +39；Claude Code 為 +34，Codex 為 +29；各產品差異為 +2 至 +46；token 成本則可能升降（兩個單次嘗試案例分別為 -76.9% 與 +120.3%）。這項測量最關鍵的弱點，是評測集由受測技能本身生成
Task Time-Horizon Scaling — METR 衡量 AI 能獨立可靠完成的任務長度，約每 4 個月加倍（先前約每 7 個月）：Opus 3 約 4 分鐘（Mar 2024）→ Opus 4.6 約 12 小時（2026）→ 預測 2027 年可達數週；並與基準測試飽和現象（SWE-bench、CORE-Bench）一併討論
型別化決策驗證器 — 一種結構化判定驗證器（布林值／選項／序位，生成 token 數為零），以共用的 2,018 項答案正確性測試集，與 12 個對手比較（Proto_AGI/mayafree，2026-09-20）：前兩名（ZTC 397B 0.7364、JEV 0.7350）在統計上不分軒輊；十項表面特徵基準（答案長度／格式，0.7036）勝過 13 個受測系統中的 8 個；同一家族內模型大小與效能並非單調關係。下游重試關卡實驗顯示，AUC 無法預測部署價值：前兩名的 AUC 僅差 0.0014，卻造成端到端代理程式準確率相差 1.4pp，因為關卡價值取決於精確率——多少原本正確的答案被不必要地重新回答並遭破壞——而非 AUC 依召回率加權的排名。此類別的主要廠商來源（TypeSafe AI 的 Jev 發布公告，2026-09-15，vendor-claim）將產品定位擴及驗證之外：由 RL 訓練的「智慧 if 陳述式」，用於 Calibrated Decisions，並擁有自行執行的工作流程評估成本 Pareto 前緣（與雙 LLM 參考的符合度約 68%，每個工作流程約 $0.0004；sol 約 74%，每個約 $0.085），同時承認參考答案、工作流程與 LLM 包裝器都由自己選擇
Usage-Telemetry Classifier Validation — Google ATLAS 是第一個公開其 LLM 分類器準確率的 AI 使用經濟研究計畫，而此類研究無不仰賴這些分類器；結果令人警醒：O*NET 任務分派的完全準確率為 22.6%，職業名稱為 42.5%，但人類對相同標籤的核准率達 85.8%。文章討論準確率與核准率之間的落差、緩解方法（以是否出現取代頻率、將任務類型彙整至 70.4%），以及這對此類研究的各項主要數字意味著什麼
Weak-Verifier Ensembling — Weaver（Stanford，2025）：停止訓練更好的驗證器，改為組合手邊已有的不完美驗證器——將 ORM、PRM 與 LLM judges 的異質集合標準化，以約 1% 的標籤找出品質低於門檻的驗證器並移除，再以 Snorkel 式弱監督學習各驗證器權重。據報告，這能將困難基準測試的分數從約 40% 提高至 70% 以上，並縮小模型家族差距（8B 生成器 + ≤8B 驗證器 ≈ 70B 多數決；70B 家族 ≈ o3-mini 的 86.2%）；之後再將整個集合蒸餾成約 400M 的評分器，以減少 99% 以上的測試時計算量，保留約 97% 的準確率。其關鍵假設——驗證器能捕捉正確性的不同獨立面向——正是維基中 2026 年評審實測所指出的錯誤假設。Sunkavalli（2026）：要將集合共享的錯誤與訊號拆開，需要外部錨點；若只有序位分數或全體共用的提示，便無法識別。Hossain、Yousefi 與 Lim（2026）：依情況匹配的相依性感知篩選器（CorrFilter、Bias-Cluster）在目標失效結構下有幫助，遇到另一種結構則會降低精確率；路由器只能彌補少部分差距，且兩種篩選器都無法遷移至偏好評審以外的任務

衍生文章#

公開基準測試還能提供多少訊號——又有什麼能取代它們？ — 2026 年評測科學研究群的綜整：公開基準測試套件所含的獨立訊號遠少於其數量所暗示的程度（133 個基準測試約等於 rank-2；即使修正效度問題，準確率仍會飽和），而主要數字會經由五種不同途徑遭到扭曲（未說明的計算預算、資料污染、廠商樂觀估計、未經驗證的評審、評估期間的答案洩漏）。不過，在經驗證的不變性條件下，序位比較仍然成立；也沒有任何單一方法能全面取代基準測試：領域的解方是六部分組合（預測而非執行、重新設計已飽和測試套件的測量方式、計算量控制曲線、取自實際產品使用情境的更新、評審驗證、強化沙盒）。發掘失效模式、監測資料污染，以及塑造誘因，仍是只有基準測試能執行的工作
如何為品味撰寫評測？性格作為極限案例 — 以品味為導向的功能難以評測，但並非無法評測：採用信念 → 從實際使用中取得失敗訊號 → A/B 變體測量（MSM 的方法）→ 約 10 項可解讀的判斷編碼評測。安全／價值觀已有示範；溫暖感／機智感仍待探索