可驗證性論點

資料來源#

• Andrej Karpathy: From Vibe Coding to Agentic Engineering
• CS329A Self-Improving AI Agents — Part 1: Course Overview
• CS329A Self-Improving AI Agents — Part 2: Test-Time Compute Scaling
• CS329A Self-Improving AI Agents — Part 3: Robust Verification
• CS329A Self-Improving AI Agents — Part 9: Future Research Areas

摘要#

Andrej Karpathy 提出一個統整性的主張，說明 AI 會自動化什麼，以及在何時發生：傳統電腦會自動化你能用程式碼明確指定的事；LLMs 會自動化你能驗證的事。由於前沿實驗室在大型強化學習環境中訓練模型，並以驗證獎勵作為回饋，因此模型能力會在可驗證的領域（數學、程式碼）急遽攀升，在其他領域則仍顯粗糙——形成鋸齒狀智慧（幽靈，而非動物）。實務上的拆解是：一項能力能否展現，取決於它是否可驗證，而且實驗室是否足夠重視，願意建置環境／納入資料。因此，可驗證性既能解釋今日能力的鋸齒狀分布，也是策略槓桿——只要你能建構驗證機制，就能自行拉動 RL／微調的槓桿。

核心類比#

傳統電腦可以自動化你能用程式碼明確指定的事。這一波最新的 LLMs 可以自動化你能驗證的事。

RL 訓練會獎勵經過驗證的結果，因此梯度最強烈地流向正確性可檢查的領域。數學和程式碼是典型的勝出者——這並非巧合，因為 AI-Driven Formal Proof Search（Lean + 編譯器）和代理程式程式設計（測試 + CI）在這些領域最為強大。編譯器／測試本身就是驗證器；驗證器本身就是獎勵訊號。

「可驗證＋實驗室在意」#

光是可驗證還不夠——實驗室也會選擇哪些內容納入訓練組合：

• **西洋棋軼事。**GPT-3.5→GPT-4 的西洋棋表現進步遠超一般能力曲線的預測，因為「大量西洋棋資料進入了預訓練資料集」。有人決定把它加進去；能力便隨之飆升。你「多少得聽任實驗室碰巧放進訓練組合的內容擺布」。
• **對使用者的意涵。**模型「沒有使用手冊」。你必須探索它：弄清楚自己啟用的是哪些迴路。「如果你處於 RL 涵蓋的迴路中，表現就會飛快提升；如果超出資料分布，就會舉步維艱」——接著你就得自行微調。

創辦人的槓桿#

Karpathy 給正追逐實驗室尚未優先投入之可驗證領域的創辦人的建議是：可驗證性是一種「確實有效的技術——你可以拉動槓桿」。只要能組合多樣的 RL 環境／範例，你就能微調，並「做出實際上相當好用的東西」。他婉轉地拒絕點名「一個非常[有價值的]領域」——這種刻意不作答的說法，暗示尚未開發的可驗證利基是新創機會。（參見七大力量套用於 AI和複利資料護城河對護城河的討論：專有的驗證環境是一項可獨占的資源。）

一切終將可驗證#

反過來看——「哪些事情只能在遠處看來可自動化？」——Karpathy 主張，幾乎所有事在某種程度上都能變得可驗證。即使是寫作這種柔性領域，也可以透過「由 LLM 評審組成的評審團」得出合理結果。所以問題在於難易程度，而非能不能做到。這是此論點的樂觀願景：可驗證性是一條 AI 持續攀升的光譜，而由 LLM 評審組成的集成系統能將獎勵訊號延伸至模糊領域。

同一論點，改以生成器－驗證器落差來講授#

Stanford 的 CS329A 從訓練角度得出 Karpathy 的二分法，並為它取了另一個名稱（第 1 講，於 2025-09-22 授課，practitioner-opinion）。Aakanksha Chowdhery 指出：生成既廉價又充沛——模型很樂意產出「一大堆胡言亂語或合理的一組推理軌跡」——因此真正的瓶頸是判斷哪些才對的回饋。系統生成的容易程度與檢查的容易程度之間的落差，決定了某個領域能否進步。

這個說法為本文補上了兩點：

• **人類端的瓶頸也有名稱。**無法機械式驗證時——課堂舉的例子是創意寫作——「人類回饋最後會成為瓶頸」，該領域便停止進步，不是因為模型不會寫，而是因為沒有人負擔得起大規模評分。上文 Karpathy 的樂觀願景（「由 LLM 評審組成的評審團」）正是繞過這個瓶頸的提案，而無參照評審過度給分說明了為何繞過它比聽起來困難。
• **它限制的是自我改進飛輪，不只是能力。**課程的完整論點——測試時運算產生已驗證軌跡，這些軌跡再成為訓練資料（Large-Scale Test-Time Compute、Recursive Self-Improvement）——只會在驗證器成本低廉的地方運作。因此，可驗證性不只決定今日模型擅長什麼，也決定哪些領域能否啟動自我引導。Azalia Mirhoseini 將「穩健驗證很困難」視為當前研究問題，研究如何組合驗證器，而非只信任一個。

有時效性的部分（2025 年下半年）：講師將可驗證領域的代理程式——帶有單元測試的程式碼、答案已知的數學題——視為唯一能明確證明循環閉合之處。本文的 2026 年來源指出，前沿已經向前推進，但門檻始終存在。

落差的量測方式（CS329A 第 2 講）#

第 2 講（CS329A Self-Improving AI Agents — Part 2: Test-Time Compute Scaling、Azalia Mirhoseini，於 2025-09-26 授課）把生成－驗證落差從一種說法轉化成圖表上的量值。它是本文論點在資料集中最鮮明的陳述，因為它把驗證器隔離為唯一會變動的部分：生成器保持凍結，每個實驗組別的差異只在於如何評判樣本。

掃描樣本數，並繪出成功率與樣本數的關係：

• 多數決在大約 10–50 個樣本時便進入平台期，但涵蓋率（完美選擇器曲線）仍持續上升。兩者的垂直距離就是落差。
• **獎勵模型排序器幾乎無法縮小落差。**結果獎勵模型、以它們進行 best-of-N，以及把多數決與獎勵評分結合的方法，都遠低於涵蓋率。
• **難度越高，落差越大。**MATH 上的落差大於 GSM8K——「題目越難，這個落差就越明顯」。

值得記住的是背後機制，因為它說明這是結構性失敗，而非排序器還不夠好。在最難、確實解出來的題目中，正確答案在 10,000 個樣本裡只出現一、兩或三次（Latent Capability Overhang）。多數決是一種頻率估計器；值得找到的答案，依其定義正是最罕見的答案。**依共識排序的選擇器，恰恰看不見涵蓋率所在之處。**在回應簡單的 GSM8K 上，多數題目的共識有效——但最難的那一尾仍會失敗。

**驗證器分類法，依可白得的程度排序。**這堂課列出的階梯，說明「可驗證」可能代表什麼：

1. 形式化證明——使用證明助理逐步檢查（AI-Driven Formal Proof Search）。
2. 單元測試——以及讓它奏效的不對稱性：「撰寫單元測試，可以說比撰寫整個程式容易得多。」
3. 輸出等價性——「AI 作為編譯器」的案例：從 PyTorch 產生 CUDA，並檢查兩者對任意輸入是否產生相同輸出。參考實作本身就是驗證器；同樣的技巧也適用於任何語言之間的移植。這種驗證器不必由你親自撰寫。
4. 以模型評分——結果與過程獎勵模型、LLM 評審。落差就在這裡。

**課堂對自己階梯最高幾階提出的但書。**有人問，回報的涵蓋率會不會因為錯誤但通過測試的答案而虛高？Mirhoseini 的回答是人工檢查：數學題經手動檢視後，真正正確率大約是 90%——她隨即將其推廣為一般情況：「如果單元測試沒有真正涵蓋程式碼，這永遠都是一種失效模式。」嚴格的驗證器是便宜的驗證器，不代表它可靠；這正是在含雜訊驗證器下停止擴大為控制問題的缺口，也是Agent-Generated Test Quality在測試本身找到的問題。同場一位學生提出不對稱的繞行方式——驗證正確性可能成本太高，但證偽很便宜，因此可以剔除能明確證明錯誤的答案，再以演化方式反覆迭代——這正是無參照評審過度給分後來以測量結果支持的「先解題再比較」方法。

落差的第二個成分，以及兩條應對路徑（CS329A 第 3 講）#

第 3 講（CS329A Self-Improving AI Agents — Part 3: Robust Verification，同一位講師，於 2025-09-29 授課）是課程專門探討驗證的一講，並把上面第 4 階獨立發展成一支文獻。本文只納入兩個重點；相關機制見過程與結果獎勵模型（論文 1–3）和弱驗證器集成（論文 4）。

落差由兩種失敗構成，而非一種。第 2 講指出，多數決在 10–50 個樣本時進入平台期，因為它是頻率估計器，看不見少見但正確的答案。第 3 講則加入訓練式驗證器的失效模式，性質不同：OpenAI 在 2021 年提出的 GSM8K 驗證器，隨著樣本數增加，效能先提升至約 400 個樣本，接著開始下降。候選答案增加到 800 個時，兩個幾乎相同的解答——一個正確，一個錯誤——比候選答案只有 400 個時更難區分。學得的選擇器不會進入平台期，而是效能退化。實際部署的系統停在 100 個樣本。因此，階梯上最柔性的那一階能取得約十倍於共識法的可用樣本，隨後也遇上自己的上限；兩種上限都不會因為增加抽樣而移動。同一組投影片也提供了建設性的對照：據報導，經人工標註的 PRM 能在**正確樣本少於 5%**的題目中找出正確解答——這正是上文的稀有度機制所指出、共識法無法觸及的區域。

課堂也把「由 LLM 評審組成的評審團」願景建成了實際系統。本文開頭 Karpathy 提出的樂觀願景——柔性領域可交由評審團處理——正是 Weaver 的作法，並且補上願景沒有說明的兩件事：品質門檻，排除對小型標註資料集評分不佳的成員（「你的驗證器必須達到一定品質，才能進入候選池」）；以及學得的個別驗證器權重，而非投票。它回報困難基準上的成績從約 40% 提升至超過 70%，並以開放權重組合達到與 o3-mini 相當的表現。但它也建立在明確的驗證器彼此獨立假設之上；LLM 評審驗證的 ρ = 0.66–0.97 和無參照評審過度給分的命題 2 都對此進行測量並提出反證——因此評審團確實能建成，但它奏效的原因並非作者所說的那個。下方開放問題已納入這個界限；Weaver 則是另一面最有力的存在性證明，而且它屬於 practitioner-opinion。

本文唯一繞過落差而非直接跨越落差的方法：融合。涵蓋率限制選擇器所能達成的成果，而上面的每種方法都是選擇器。把全部 k 個樣本交給模型，請它綜合出一個答案，就能勝過神諭式選擇器——見Inference-Time Architecture Search。

階梯漏掉的軸：慢到無法放進循環的驗證器（CS329A 第 9 講）#

課程最後一講（CS329A Self-Improving AI Agents — Part 9: Future Research Areas，兩位講師，於 2025-12-05 授課，practitioner-opinion）面對一個顯而易見的問題——哪些應用不屬於可驗證問題？——Mirhoseini 的回答以一個新座標重新整理本文的階梯。她舉的例子是科學發現、晶片設計和濕實驗室化學，而這些領域並非沒有驗證器：

在晶片設計中執行非常慢的模擬，可能要花好幾天才能取得一種獎勵訊號；或是進行你真的得去濕實驗室做的化學實驗……在 RL 微調或測試時擴展中，我們需要這些驗證器幾乎即時回應……也許能等幾分鐘，也許 1 小時，但如果在這個 RL 訓練中需要迭代數百或數千步，就不可能等上好幾天。

**晶片模擬是完美的驗證器，卻毫無實用價值。**上面的階梯按照驗證器「能白得多少」排序；這裡補上一個正交的切面——延遲與訓練循環所需迭代次數之間的關係——這才是決定某個領域能否自我引導的關鍵。把歷時數天的獎勵乘上數千個 RL 步驟，就會讓一個原理上完全可驗證的領域在實務上無法驗證。這和創意寫作的失敗原因不同，而本文先前一直把兩者歸在同一個標題下。

這堂課提出三個後果：

• 可用代理指標繞道：離線蒐集昂貴模擬器的結果，訓練一個獎勵模型來預測結果，再以預測取代模擬器放進循環。它的界限說得很坦白——「獎勵模型的泛化能力取決於你有多少資料」；不準確的代理模型會成為獎勵駭取的攻擊面，而非驗證器。這是學得的驗證器文獻在缺乏廉價真實標準來訓練模型的地方派上用場，顛倒了這支文獻一貫的前提。
• **真正不可驗證的殘餘是主觀性，而非速度慢。**創造力和創意寫作仍是難題；課堂提出的說法是，總能替它們建模一種獎勵函數——但此時「如果模型稍微偏離，RL 或代理程式就能進行獎勵駭取。」這與2026 年的測量得出相同結論；此處則將它表述為預期。
• 可驗證性是任務拆解的性質，而非領域的性質。Chowdhery 對 KernelBench 的細化是最鮮明的版本：編譯器輸出和執行結果能免費驗證單一 GPU 核心，但無法驗證大型串接程式中的效能分析結果；因此實務上要把問題拆解成模型能驗證的部分，並為其他部分提供參考知識庫。梯度是在同一個「可驗證」領域內運作的，Karpathy 二分法的二元解讀掩蓋了這一點。

延伸閱讀#

• Andrej Karpathy — 論點作者（他對可驗證性的論述）
• CS329A: Self-Improving AI Agents (Stanford) — 同一二分法以生成器－驗證器落差來講授，並成為課程自我改進飛輪的門檻
• Aakanksha Chowdhery／Azalia Mirhoseini — 說明此論點的講師；Mirhoseini 研究如何組合驗證器，而非只信任一個
• 鋸齒狀智慧（幽靈，而非動物） — 可驗證性是成因；鋸齒狀表現是症狀
• AI-Driven Formal Proof Search — 最純粹的實例：Lean 的編譯器是完美的驗證器，這也是 DeepMind 的代理程式能解決未解數學問題的原因
• Vibe Coding vs. Agentic Engineering — 這門學科的招聘測驗（「紅隊無法攻破」）就是將可驗證性付諸實務
• Evals as Product Spec — Cat Wu 提出的「十個優質 eval」是產品端的映照：為 AI 功能編碼定義「已驗證／完成」的意義
• Verification as the New Bottleneck — Fiona Fung：一旦程式設計變得便宜，稀缺資源就是驗證（而非生成）
• Scale-Dependent Prompt Sensitivity — 可驗證領域的 RL 是更大的模型無法在每項基準上全面勝出的原因之一
• 苦澀教訓 — 可驗證環境中的大規模 RL，是勝過手工打造啟發式方法的一般性手段
• Client-Side Agent Optimization — 在自有 RL 環境中微調，是最佳化故事裡最徹底的「拉動槓桿」版本
• 複利資料護城河 — 專有的驗證環境是可防守的獨占資源
• 無參照評審過度給分 — 實際運作的評審團做為獎勵機制，並以留出的真實標準進行稽核。它支持此論點的二分法，並反駁其集成方法：當裁決不依賴候選答案而獨立判定時，就承襲評審端的上限，且在最佳化壓力下仍能維持（偽陽性 0.012、辨別力 0.96）；由無參照評審組成的評審團若為呈現的候選答案評分則不行——最嚴格的三家族一致接受規則，仍會放過 55% 由自我對弈製造的錯誤答案，辨別力從 0.31 崩跌至 0.09，而以它訓練的效果比以單一評審訓練更差。命題 2 說明了原因：每個單調聚合規則都會對相同的潛在可信度軸設定門檻，因此增加評審也無法否決所有評審都接受的區域。可驗證性仍是一條可持續攀升的光譜——但該走的階梯是先解題再比較，而非增加評審。
• 過程與結果獎勵模型 — 開展第 4 階：結果與過程監督、從 GSM8K 到 Math-Shepherd 的四年發展，以及落差的第二個成分（學得的選擇器在候選答案超過數百個後，精確度會下降）
• 弱驗證器集成 — 將 LLM 評審組成評審團，建成實際系統：設有品質門檻和學得的權重；其獨立性假設與 wiki 的測量結果相矛盾
• 資料牆與驗證公地是同一項供應限制 — 此論點從能力主張提升為供應主張，兩方面同時成立。階梯加上驗證器延遲軸，決定合成訓練資料的配給方式（因此資料牆轉化為此處的摩擦，而非退回成算力問題）；也解釋了為何 Stockfish 門檻會先在從未仰賴人類驗證者的地方出現——同一變數、相反符號，因而緩和勞動領域文獻提出的不均衡到來疑慮
• 訊號消失時的監督：啟動函退路與品味獎勵 — 以評審驗證相關研究群集對「由 LLM 評審組成的評審團」願景進行壓力測試：無參照評審會過度給分，且可遭到操弄；因此評審團延伸獎勵訊號的代價是失去根據

開放問題#

• 「由 LLM 評審組成的評審團」的可靠性界線在哪裡——它適用於真正有爭議的價值判斷，還是只適用於品質／連貫性？Zhou (2026) 已於 2026-08-04 部分回答這個問題，而且顛覆了問題的前提。問題假定評審團在簡單情況下可靠，再問它往上能適用到什麼程度；測量結果卻指出，一旦有任何東西對它進行最佳化，它連最簡單的情況——小學數學的客觀正確性——都處理不好。三個跨家族評審只有全數同意才接受，仍放過 55% 刻意製造的錯誤答案；命題 2 更證明，對共享的可信度訊號套用任何單調規則都做得更好不了。另外兩項發現更清楚指出界線實際落在何處。評審團作為靜態評分者尚可，做為獎勵則會失效：相同評審在最佳化前維持可用辨別力（0.21–0.38），最佳化後卻崩跌至 0.05–0.17，所以真正的瓶頸變數是最佳化壓力，而非判斷本身的爭議程度。無參照裁決追隨的是提示框架而非正確性——在單元測試的真實標準固定時，Llama 的 gap@16 在嚴格指令下為 −0.106，在寬鬆指令下卻變成 +0.722；因此在模糊的一端，或許根本沒有穩定的操作點可供界定。而且，在上述任何狀況發生之前，評審團的餘裕就已經不大。Yang et al. (2026) 在沒有人以任何方式最佳化評審的普通偏好評分中，測量評審者的錯誤相關性——同一評審重複抽樣時 ρ = 0.944–0.972，較強家族之間為 0.664–0.706，混合家族的評審團表現也低於獨立性預測，因此五位評審只讓 LLMBar 從 0.463 升至 0.482。Condorcet 的放大效應要求投票者彼此獨立，而 LLM 評審並不獨立，有沒有最佳化都一樣。這個評審團從未承載論點賦予它的份量；最佳化壓力只會讓不足之處變成對抗性弱點。**仍未解答的是：**這裡沒有任何測試涉及有爭議的價值判斷；由於缺乏可供稽核的錨點，也就無法執行這種測量。
• 「實驗室在意」這項依賴很脆弱：你無法掌控的實驗室優先事項，可能左右能力的出現或停滯。產品該如何防範資料分布突然被抽走？

資料來源#

• Andrej Karpathy: From Vibe Coding to Agentic Engineering
• CS329A Self-Improving AI Agents — Part 1: Course Overview — Stanford CS329A 第 1 講（於 2025-09-22 授課，2026-08-03 發表，practitioner-opinion）：提出生成器－驗證器落差的名稱、指出人類回饋是不可驗證領域的瓶頸，以及驗證是自我改進飛輪的門檻
• CS329A Self-Improving AI Agents — Part 2: Test-Time Compute Scaling — Stanford CS329A 第 2 講（Azalia Mirhoseini，於 2025-09-26 授課，2026-08-03 發表，practitioner-opinion）：將落差繪成圖表——多數決在 10–50 個樣本時進入平台期，涵蓋率曲線卻持續上升；獎勵模型排序器幾乎無法縮小落差；落差從 GSM8K 到 MATH 擴大——另有稀有度機制（10,000 個樣本中只有 1–3 個正確）、包含輸出等價性檢查的四階驗證器分類法，以及數學題涵蓋率數字約 90% 經人工確認正確的但書。數據從自動字幕逐字稿中的投影片讀取；皆為近似值
• CS329A Self-Improving AI Agents — Part 3: Robust Verification — Stanford CS329A 第 3 講（Azalia Mirhoseini，於 2025-09-29 授課，2026-08-03 發表，practitioner-opinion）：將第 4 階拓展成獨立研究領域。本文用來說明訓練式驗證器在約 400 個樣本後的精確度衰退（以及實際部署的 100 樣本設定）、PRM 據報導能觸及正確率 <5% 的區域，以及 Weaver 如何以品質門檻和學得權重建構出評審團願景。所有數據皆從自動字幕逐字稿的投影片讀取；四篇論文不在 raw/ 中；Weaver 的 COI 總計。機制詳見過程與結果獎勵模型和弱驗證器集成
• CS329A Self-Improving AI Agents — Part 9: Future Research Areas — Stanford CS329A 第 9 講（兩位講師，於 2025-12-05 授課，2026-08-03 發表，practitioner-opinion，自動字幕逐字稿，約 1.05 萬字）。結尾問答探討不可驗證領域：緩慢模擬器的例子（晶片設計、濕實驗室化學、科學發現）、即時驗證器要求及其背後的迭代次數論點、以替代獎勵模型繞行及其資料上限、創造力是殘餘的真正主觀案例，以及 Chowdhery 從可編譯核心延伸至效能分析的 KernelBench 梯度。內容來自現場問答的實務判斷，沒有經過測量；沒有論文佐證