模型能力與訓練

model-capability-and-training 領域的內容地圖——28 個概念。模型如何具備能力：測試時運算、能力過剩、RL 後訓練方法、推論效率，以及開放權重前沿。精選入口；所有領域請見 Home。

• Anchored Bellman-Residual Correction (BRACE) — 直接修正非同步 RL 的 critic 端偏差；DIS／ESTR／keep-rules 修正的都是 actor：過時 critic 的目標收斂至 V^µ，但 advantage 需要的是 V^π；V-trace 無法轉移，因為沒有任何視窗能同時涵蓋終端獎勵，又讓重要性權重乘積在軌跡長度增加時仍有界。BRACE 將兩者拆開——總和一律延伸至終端步驟，重要性權重乘積則封頂於 k 個 token——接著以固定權重錨定上限以外的尾端，移除逐 token 尾端權重會引入的雜訊。在 4 項任務的 16 個指標中，有 13 個勝過五種僅修正 actor 的方法；相較未修正的非同步 PPO，步驟耗時只增加 1.5%；使用一組固定超參數設定，面對高達 50 的延遲也能平順退化
• Asynchronous RL for LLMs — 每個 rollout 一完成就立刻用於訓練，不必等待完整的同步批次——這解決了長尾代理程式／程式碼 rollout 讓 GPU 叢集閒置等待的問題，但代價是策略延遲與離策略漂移；SAO 的 DIS（直接雙邊重要性抽樣）透過完全捨棄舊策略模型、遮罩任何 rollout 與目前的機率比值落在嚴格信任區域之外的 token，來穩定訓練；ESTR 則提出另一種診斷：比值的自然尺度會隨 token 熵增長，因此任何固定幅度的界限都會放大低熵抽樣雜訊，卻丟棄飛行中的權重更新所帶來的合理高熵探索；匹配預算的消融實驗顯示，穩定性取決於 keep rule 移除了「哪些」token，而非移除「多少」token；而這兩種方法之下，還有未修正的 O(Sη) 偏差／Tη 崩潰前沿
• Error-Penalized Abstention Training — 對模型答對、答錯、棄答分別給予 +1／−λ／0 的獎勵，對理性代理而言有可證明的正當性，對梯度學習器卻可能適得其反：棄答若是離散動作，獎勵梯度與 KL 錨定的恢復力會帶有相同的飽和因子，並一同消失，因此涵蓋率會降至零，而紀錄的平均獎勵則像 1/t 一樣上升——GRPO 的群組正規化還會悄悄把設計的懲罰替換成 λ_eff = 1，讓學得的門檻從 λ/(1+λ) 移至 1/2
• ExecCritic: Learn to Test, Test to Improve — Tao、Peng、Wang 等人（UW-Madison／Microsoft Research／Georgia Tech）：以測試、驗證、修訂的流程，將測試建構與原始碼修復拆成兩個分別訓練的 Qwen-3.5-35B-A3B 角色——Test 代理的測試組合由失敗即封鎖的 harness 資格審查並凍結；Repair 代理則只根據該固定測試的回饋修訂原始碼補丁。在 SWE-bench Verified 上固定 Repair 代理時，未訓練 Test 代理產生的測試會讓解決率從 61.2%「降至」57.3%，GPT-5.6 產生的測試則將其提高至 65.3%——回饋有幫助或有害，取決於測試品質，而非是否有回饋。角色專屬 RL 讓 Test 代理的 Base-to-Gold 成功率從 22.2% 升至 62.2%，Repair 代理的 Round-0 成功率從 61.2% 升至 68.3%；將兩個訓練後的代理組合起來，成功率達 72.6%，比原本沒有測試的基準高出 11.4 個百分點，評估時不需要更強的模型或 Oracle 回饋
• RL from Execution Feedback (RLEF) — 在迴圈中加入直譯器，訓練程式碼模型：產生程式碼、執行一小組可見的公開測試，將失敗文字回饋給模型以供再次嘗試，再用隱藏的私人測試集為通過的解答給予獎勵——如此一來，相同的執行回饋便會同時出現在推論時（利用策略）與訓練時（更新策略）。CS329A 第 4 堂課將其教作雙層測試拆分與逐回合價值函數。錯誤分析顯示，這種機制減少的不是首次嘗試時的錯誤，而是帶來「目標式修復」：使用 RLEF 時，後續回合會修復特定錯誤；不使用時，編輯結果並不正確
• Group Relative Policy Optimization (GRPO) — DeepSeek 提出的無 critic RL 目標函數，成為 2024–25 年 LLM 後訓練的預設方法：每個提示詞抽樣一組，以該組平均獎勵作為基準，最佳化經裁剪的 PPO 替代目標，不使用價值網路——同步訓練時比 PPO 更便宜、也更穩定，但它的群組就是同步屏障，與非同步及單軌跡代理場景不合（SAO 正是利用這項落差）；在預算相同的同步設定下，它是難以突破且穩定的上限，因此同步屏障也承載了大部分尚未計價的穩定性——而能改進它的並非更好的軌跡層級估計器（GSPO 與 GiGRPO 在受控的長時域搜尋中分數都低於它），而是在不改動群組 advantage 的前提下加上密集的逐回合項目；DeepSeekMath 的源頭論文指出，其亮眼成果有很大一部分也來自資料整理，並報告 RL 提升了 majority@K，而非 pass@K
• Illicit Distillation — 透過帳戶詐欺，將前沿模型能力大規模秘密萃取至未經授權的學生模型：Anthropic 2026 年 9 月的威脅報告點名 Alibaba、Moonshot、DeepSeek、Zhipu、Xiaomi、SenseTime 和 MiniMax，列出各次行動的交換次數（單是 Alibaba 就超過 1.51 億次），記錄兩家實驗室暗中將自家客戶流量轉送至 Claude，並指出跨工作階段重播 Claude 自身思考特徵是後來成為關鍵的控制方法——報告的安全主張是，蒸餾會轉移能力，卻不會一併轉移周遭的防護措施；NSA／CISA／FBI 聯合公告（AA26-251A，2026-09-08）從美國政府角度重述這類行動，點名六家實驗室（新增 StepFun，未列 Xiaomi 與 SenseTime），將時間追溯至 2024 年底，稱蒸餾是其發展的「關鍵核心」，並建議秘密降低回應品質，與 Fable 公開說明的備援措施正好相反。公告也將 Kimi K3 的資料歸因於 Fable 5，但 Anthropic 自己的報告與此說法矛盾。兩天後，中國外交部以「毫無根據的指控和抹黑」駁斥公告，卻未回應任何針對個別公司的指控
• Inference Efficiency as Capability — 如果能力是推論預算的函數，那麼降低每個 token 的成本就是能力工作：Gemma 4 的五項手段（透過 keys-as-values + p-RoPE 將 KV-cache 減少 37.5%、QAT 降至低於 1 GB、MTP drafter heads、MoE、移除 encoder）能以較低成本換取更多思考；Kimi K3 在 2.8T 規模下採取相同邏輯，3.7% 啟動稀疏度與 MXFP4 QAT 讓模型得以部署；Gemini 3.5 Flash-Lite 則呈現反向移動的「級別」，能力是以價格上漲 67% 換來。反向項已有量測——稀疏注意力會改變哪些內容能影響答案（跨區塊切斷：4.48 logits → 0），使比率的正負號翻轉；Keyless Attention 刪除 key 投影，提供 50% 的 value-only 快取，在 ≤1.5B 規模下五項測試贏四項，到了 3B 時 PPL 卻損失 3.9%；這條軸線有一個單位：Stanford 的 每瓦智慧（5.3× = 3.1× 模型 × 1.7× 硬體）
• Inference-Time Architecture Search — Archon（Mirhoseini 的實驗室，2024）：將測試時擴展視為架構設計問題——在一組 LLM 上，以推論呼叫預算搜尋由提示詞操作（generate、fuse、critic、rank、verify、unit-test-generate、unit-test-evaluate）構成的多層管線，並在人工限制的搜尋空間中使用 Bayesian optimization。這個系統留下兩項長久有效的結果：融合——從 k 個樣本合成一個答案——勝過從相同 k 個樣本中選出 Oracle 答案，突破了 generation–verification gap 所界定的上限；堆疊更多推論層仍會持續帶來助益，如同神經網路中的深度
• Intra-Trace Parallel Planning (SPRINT) — 推理軌跡其實是以鏈狀形式生成的 DAG：其中許多步驟彼此不相依，但自回歸解碼仍得為所有步驟付出循序延遲。SPRINT（Mirhoseini 的實驗室，2025）重建這個 DAG——讓 GPT-4o 將 DeepSeek-R1 軌跡切分成步驟、標記各步驟中的規劃與執行部分、推斷相依圖、重新打包成平行群組，再以重整後的軌跡監督微調 7B 模型，使其能一同輸出互不相依的計畫，並同時執行這些計畫。令人意外的是，準確率也提高了（約 3.5 個百分點），而且能泛化至訓練資料以外的數學資料
• Jagged Intelligence (Ghosts, Not Animals) —「是鬼魂，不是動物」：參差不齊的統計電路，沒有內在動機；洗車／草莓錯誤；保持在迴圈中，把它們當成工具——而且跨模型規模來看，推理內容可壓縮 10 倍，儲存的知識卻不會
• Large-Scale Test-Time Compute （樞紐） — Noam Brown 的論點：模型能力如今取決於推論預算（token／成本／時間）；有良好支架的現代模型能持續進步好幾週才達到平台期，因此不說明預算就問「模型有多強？」並無明確意義——這是破壞基準測試、安全評估與快速起飛預測的根本原因；另有首次以相同預算測試「邊際 token 該花在哪裡」的研究，結果顯示獨立平行抽樣勝過循序精修，也勝過讓中介代理重寫 harness；還有一條完全沒有調節旋鈕的軸線：N 道題目共用預算時，分配取決於提示詞順序（順序–位置 +0.68，N 增加時維持平坦），而非題目價值或難度
• Latent Capability Overhang — Noam Brown 的主張：已發布模型的能力遠超任何人所萃取出的部分，因為沒有人投入足夠的測試時運算；OpenAI 以低成本證明了 Erdős 單位距離猜想，同一結果後來也透過支架從 GPT-5.5 引出（$1K–$100K）；該猜想是 Erdős 第 90 題，以 Lean 形式化耗費 120 萬行，對照之下文字證明僅 18 頁；每次發布都讓成本下降 10–100 倍，助長「等下一個模型」的迷因；Cherny 提出的產品端對應概念——「削弱」與「產品過剩」——將同一落差定位於產品設計，而非預算
• LLM-Driven Vulnerability Research — 從 Opus 4.6 經 Mythos 5 到 Opus 5 的新興網路能力階梯：自主發現零日漏洞、完整漏洞利用鏈、發現與利用之間的分離、Project Glasswing 防護回應如今依據原始碼與二進位存取權限，而非主題來劃分；UK AISI／CAISI 的第三方逐階量測顯示，開放權重模型止步於沙箱逃逸階段（41 項中 0 項），封閉前沿模型則只是數量減少；生產環境 Codex 支架的錯誤類別組成中，唯一點名的發現是編譯器正確性與協定邏輯錯誤；Antaeus 則是首項經學術界控制污染的邏輯錯誤量測：35 個 CWE-200／284 CVE 中找到 20 個，成本約 $27，每個確認錯誤伴隨 87 個誤報；在截點後的 7 個案例中，這項差距與最佳基準相當
• Offline Multi-Step Tool-Use RL (SWiRL) — SWiRL（Mirhoseini 的實驗室，COLM 2025）訓練多步工具使用，RL 訓練過程中完全不呼叫工具：先透過反覆提示離線產生多步軌跡，在該階段執行工具，讓 LLM 評審為每個動作評分——評分的是模型「寫下的查詢」，而非得到的結果——接著根據凍結的脈絡最佳化預期逐步獎勵。兩項發現超越了這套方法本身：用過程篩選的資料比用結果篩選的資料更適合 RL，但 SFT 的排序恰好相反；以 GSM8K 和計算機訓練，能提升使用搜尋引擎的 HotpotQA 表現，因此能轉移的是逐步推理與工具呼叫，而非任何特定工具
• The Open-Weight Frontier Gap — Arena Text，2026 年 6 月：排名最高的封閉模型領先最佳開放模型 33 Elo，領先最佳「dense」開放模型 57 Elo；前沿開放權重模型指的是 744B–1.6T 的 MoE，因此 Gemma 4 31B 是在不同軸線競爭（效率、邊緣部署）——2026 年 7 月的 Inkling 增添第三種開放權重策略（可微調性，而非排行榜表現），Kimi K3 則將稀疏度推至 2.8T／104B；代理型 Elo 的開放／封閉差距（35–61 分）比聊天差距更大；需求端方面，Ramp 的刷卡支出指數顯示，美國開放模型／中國模型服務的使用者占 AI 消費企業的 6.4%（2026 年 8 月），而其中 96.4% 的企業仍直接付費給 OpenAI 或 Anthropic——兩者是相加而非替代；8 月的 token 份額轉移流向實驗室自家的標準級別，而非開放權重模型；UK AISI／CAISI 還加入第四條非供應商軸線：差距最寬且明顯正在擴大的是網路能力
• Pre-Reasoning Commitment — Sarfati 等人以 8B／32B RLVR 預測器進行強制作答量測：加上空白 think 區塊後，答案與信心幾乎不變——陳述信心與推理版本的相關係數 ρ = 0.78–0.90，強制答案與自由作答的眾數答案有 56–67% 相同；一次前向傳遞便能以 r = 0.982 重現抽樣得到的強制作答分布；接著，思維鏈會「銳化」該分布，而非搜尋答案，僅修正 4% 的強制作答錯題，卻有 72% 的機率鎖定相同錯誤答案，使分布內準確率增加 1.9 個百分點——而推理前答案分布的熵，足以有效為問題分流，在準確率沒有可測量損失的情況下減少 30–47% 的生成 token
• Process vs Outcome Reward Models — CS329A 第 3 堂課介紹了訓練 LLM 驗證器四年間的發展：OpenAI 的 GSM8K 驗證器（評分完成的解答、逐 token 預測頭、兩種損失）→ Let's Verify Step by Step 的 PRM800K（80 萬個人工步驟標籤；過程監督真正的價值在於消除幻覺推理鏈導向正確答案的誤判）→ Math-Shepherd（以各步驟的 rollout 成功率取代人工標籤）——問題在於，自動化步驟標籤會重新引入過程監督原本要避免的誤判。另外，還有兩項可泛化的發現（受訓驗證器的精確率在候選項超過數百個後會「下降」；較大的生成器搭配較小的驗證器，勝過反向組合），以及問題所暗示的下一階：DeepSeek-Math V2 的 meta-verifier，負責評分驗證器的分析，而非其分數
• Rationale Bootstrapping (STaR) — 2022 年提出，是所有會更新權重的自我改進迴圈的祖先：以少樣本提示模型產生推理鏈，只保留最終答案正確的鏈，用它們微調模型，再重複上述步驟——讓它不只是拒絕抽樣的訣竅叫作「合理化」：對失敗問題提供答案作為提示再試一次，並將產生的推理鏈當成模型自行解出的結果來訓練。它的篩選器是其他領域沿用至今的假設，能力上限是基礎模型本身的能力，而迴圈會停滯，是因為它其實不是真正的 RL。此外，CS329A 收尾課程還介紹兩項 2025 年的後續發展：Multiagent Finetuning 將停滯命名為「多樣性崩潰」，並透過專門化的生成器與評論者代理增加多樣性；Absolute Zero 則讓模型在可學習性獎勵下自行提出任務，藉此移除人工整理的問題集
• Selection Under a Submission Budget — 只能提交 n 個答案，而非全部 k 個時，反覆抽樣的成本為何？CS329A 第 7 堂課介紹 AlphaCode 每題抽樣 100 萬次的流程，其核心是篩選與分群階段，將 100 萬個樣本減至 10 個，以及為此定價的 10@k 指標——10@k（約 30%）與 pass@k（約 40% 以上）之間的差距，直接量出了選擇瓶頸。AlphaCode 2 以學習式評分模型及一系列微調的 Gemini Pro 變體來增加多樣性，取代啟發式分群；它用 100 次抽樣就達到 AlphaCode 的解題率，而非 1,000,000 次——講師本人認為，更好的基礎模型比增加抽樣預算更便宜
• Shared-Budget Compute Allocation — Fan 等人以考試形式測試推理模型能否將單一 token 預算分配至 N 道有分數的題目：結果是做不到——投入程度受題目呈現位置影響（部分 Spearman −0.34，在 N=20 時加劇至 −0.48），而解題順序無論題目長度如何都與位置呈 +0.68 的關聯；分數權重毫無影響（投入程度–分值 0.00／+0.04／+0.11）；題目選擇與偏好前面位置的答案相符度為 0.76，與最高價值密度答案相符度則僅達機率水平（0.59 對 0.59）；32% 的所有推理 token 花在模型於獨立 40,960-token 嘗試中答錯的題目上；明確的規劃提示能將涵蓋率提高最多 +0.14，但只改變分布，而非優先順序；具有對抗性的由難至易排序讓兩個 API 模型各損失 16–19 分，因為它們拒絕重新排序
• Single-Rollout Optimization — SAO 的核心作法：每個提示詞只使用一條 rollout，而非 GRPO 的群組；rollout 一完成就立即送入訓練——減少離策略漂移，並符合每個提示詞僅有一條軌跡的線上／代理設定；代價是類 REINFORCE 的變異數，因此它用價值模型彌補缺少的群組基準，並把整個工程預算花在穩定 critic 上（更快更新價值、凍結注意力的 critic、skip-observation GAE、縮放價值預訓練）
• Software 3.0 — Karpathy 的分類法：1.0 是程式碼，2.0 是權重，3.0 是提示詞；LLM 是可程式化的直譯器；MenuGen「不該存在」；將神經網路視為宿主程序的外推
• Staleness–Learning-Rate Scaling — 非同步 GRPO 的 (S, η) 穩定前沿，是推導而來，並非提出的修補方法：過時 rollout 的梯度偏差受 O(Sη) 限制，因此訓練是否崩潰取決於這個乘積；不穩定訓練何時失敗則取決於累積學習器漂移 Tη——兩項限制合併為 η ≪ min{R_batch(ε)/(S·G_upd), R_crit/(T·G_upd)}，因此 horizon 項限制條件時，學習率上限看起來幾乎不受延遲影響；在 Llama-3.2-1B／3B 上搭配二元數學獎勵，擬合常數為 S·η_max ≈ 1.6×10⁻⁶，t_collapse·η ≈ 3.2×10⁻⁵；可長期使用的指標是連續兩次更新之間的餘弦值，讀出彈道式（偏差主導、會崩潰）或擴散式（雜訊主導、穩定）的漂移——但崩潰表格無法從論文自身的圖表重現
• The Bitter Lesson — Sutton 2019：大規模通用方法勝過人工設計的結構；wiki 中反覆以此為理由，將 harness 融入模型；但也有但書——機械式驗證、性格與推論路徑本身可能不會向內遷移
• Trained Calibration — TML 將校準列為 RL 一級目標的方法：針對已解決的真實問題使用適當評分規則、採用棄答感知 QA 獎勵（只有在很可能正確時作答才有獎勵），以及結合雙重評分規準與主張評分器，由會搜尋網路的主張驗證器制衡評分規準的事實轟炸——最終評估採用預測基準（ForecastBench、Prophet Arena）
• Turn-Level Credit Assignment — 無需步驟標籤、LLM 評審或受訓過程獎勵模型，便能提供長時域代理逐回合獎勵，而非只給一個終局評判——TRACE 的方法是在工具呼叫邊界切分 rollout，再根據「凍結」的參考模型預測黃金答案的難易程度，為每個前綴評分；將其轉為對數比值，也就是「初始差距已彌合的比例」狀態價值，再把自身邊界兩側的 TD 變化分配給每個回合；這些分數會望遠鏡式相消，因此延長軌跡不會灌高分數；在封閉網路的 BrowseComp-Plus 上，純 RL 讓 Qwen3-4B 從 7.2 提升至 35.6，Qwen3-30B-A3B 從 8.4 提升至 42.6，不需冷啟動 SFT 或即時網路資料
• Unproductive Self-Verification — Opus 5 的典型失敗：窮盡式正確性檢查與未受要求的過度工程，擠壓了實際任務，導致更高的投入反而「降低」表現——這也是 Anthropic 判定模型未跨越 CB-2 門檻時的關鍵證據

衍生內容#

• The Data Wall and the Validation Commons Are One Supply Constraint — 關於供給在軌跡到達之前便耗盡的兩個未解問題——擴展所需的訓練資料，以及 Stockfish 門檻所需的人類驗證者——最後發現其實是同一個問題，因為兩種供給都是「經驗證的判斷」。語料庫量測的結果顯示，預訓練 token 牆不會以其自身所稱的方式成為限制：自我生成資料所需 FLOPs 很低，真正的配給限制來自驗證者是否可得、驗證者的「延遲」，以及生成器多樣性崩潰；因此資料牆不會像 RSI-frictions 綜合整理所說的那樣轉化為運算限制——它會轉化為該頁列為首要因素的驗證摩擦。對於兩者的先後順序，答案是有所保留的否定：語料庫中沒有任何領域顯示驗證者供給耗竭至共同資源的規模（Lovett 本人也如此表示），最接近量測到的案例是大腸鏡檢查技能退化；一般風險比所述更小，因為可驗證性會同時推動門檻出現與驗證者變得不必要——但往下一層看，風險又比所述更明確：在次任務邊界上，形式數學已顯示人類剩餘工作（檢查形式化，而非證明）仍會存在於可驗證階段已完全自動化的領域
• Opus 4.6 → 4.7 Changes and Multi-Agent Coding Considerations — 4.6→4.7 差異表，以及多代理程式編碼團隊的六項風險：依角色選擇模型、重新調整提示詞、harness 不變條件、各代理的脈絡預算、無人監督的大規模分派安全、獨立審查者
• When to Use Claude Opus 4.6 for Work — Opus 4.6 部署的決策規則：解題者而非規劃者、以詳細解說為關鍵的任務、簡潔性限制、Pareto 前沿檢查