H
Howardism
Plate IIModel Capability & Training機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

苦澀的教訓

PublishedMay 13, 2026FiledConceptDomainModel Capability & TrainingTagsLLM ArchitecturePrincipleReading9 minSourceAI-synthesised

Sutton 2019：運用計算能力的通用方法勝過手工設計的結構；本 wiki 反覆以此論證將 harness 溶入模型；但仍有例外——機械驗證、角色，以及推理路徑本身可能無法向內遷移

《苦澀的教訓》插圖

資料來源#

摘要#

Rich Sutton 在 2019 年的文章指出：運用計算能力的通用方法（搜尋、學習），最終會勝過將人類知識與手工設計結構內建其中的方法，而且隨著計算能力增加，差距會大幅擴大。「苦澀」之處在於，這總是讓那些投入心力打造精巧領域結構的研究者感到意外，因為結構最後成了天花板，而不是地基。

這個頁面存在的原因，是這項原則在本 wiki 中反覆作為關鍵論據出現——明確用來支持將 harness 溶入模型。

本頁的引用位置#

  • Interaction Models — TML 直接引用「苦澀的教訓」：手工打造的互動系統（VAD、turn-detection、dialog-management harnesses）「會被通用能力的進展超越」，因此「若要讓互動性隨智慧一同擴展，就必須將其納入模型本身」。請參閱 Turn-Based Interface Bottleneck。
  • Encoder-Free Early Fusion — 在單一 transformer 中從頭共同訓練所有模態元件，而不是拼接預訓練的編碼器／解碼器：減少手工設計的模組邊界。
  • Time-Aligned Micro-Turns — 移除人為的輪次邊界，讓互動模式成為可擴展的模型行為，而不是各模式專用的 harness 程式碼。
  • Harness Shrinkage as Models Improve — 將同樣的邏輯套用到 coding-agent harness：提示 scaffolding 彌補模型尚做不到的部分，並應隨模型進步而縮減。（但該文的例外是：機械式驗證——測試、型別、linters——不會向內遷移。）
  • Agent Harness Engineering — 「強制執行不變量，而非實作」：讓模型尋找路徑；harness 只編碼必須為真的條件。

標準例外#

苦澀的教訓談的是能力與結構向模型內遷移，而不是「harness 沒用」。合理地留在模型外的事物包括：機械式驗證（Harness Shrinkage as Models Improve 的綜合結論）、組織特定的政策／風格、安全邊界，以及——依據 Claude Character as Product——刻意塑造角色／個性的工作。每個 harness 元件都必須面對一個開放問題：它究竟位於這條界線的哪一側？

部署豁免#

Gemma 4 同時朝兩個方向違反這條界線，讓界線更加清晰。同一份報告移除手工設計的結構——550M 視覺編碼器變成 35M matmul，305M 音訊 conformer 被完全刪除（Encoder-Free Early Fusion）——同時也加入大量結構：5:1 的區域至全域注意力比例、p = 0.25 的 p-RoPE、全域層中的 values = keys、每層叢集的量化位元寬度，以及 drafter head 中對 token-clusters 的 top-k 投影。

這並不矛盾，說明原因很有用。苦澀的教訓針對的是編碼人類對任務之先驗的結構——模態編碼器主張，在模型看見音訊之前，音訊應以某種特定方式被消化，而這項主張會成為天花板。KV-cache 與量化技巧沒有編碼任何事物的先驗；它們只是讓模型已學會的網路得以運行的算術。部署工程不受此限，Inference Efficiency as Capability 因此主張它會累積而非縮減：它沒有可供遷移的「內部位置」。

對 Harness Shrinkage as Models Improve 而言，推論路徑本身是留在外部事物清單上的第二項，與機械式驗證並列。

同樣的豁免也適用於訓練迴圈。SAO 在 RL 端執行完全相同的雙向移動——它移除機制（舊政策模型 π_θ_old、GRPO 的群組基準線），同時加入大量機制（frozen-attention critic、skip-observation GAE、length-adaptive λ、每任務的 clip 不對稱性）。而它手工打造的 critic 在推論時會被丟棄；就像 KV-cache 技巧一樣，這是沒有可供遷移之「內部位置」的結構。界線仍然成立：模型學到的任務知識會向內遷移；產生或服務模型的 scaffolding 不會。

相關連結#

  • Why AI Lags at Design — 「這些模型將會擅長設計」是將苦澀教訓押注於設計落差的應用
  • Evolutionary Proof Search — 苦澀教訓預測會被吸收的，正是這套特製的演化裝置
  • Interaction Models — 最近最明確的引用
  • Turn-Based Interface Bottleneck — 「較不智慧的 harness 會敗給擴展」
  • Harness Shrinkage as Models Improve — coding-agent 版本，附帶機械式驗證的例外
  • Agent Harness Engineering — 以苦澀教訓為意識的不變量而非實作設計規則
  • Encoder-Free Early Fusion / Time-Aligned Micro-Turns — 由此原則支持的架構選擇
  • Claude Character as Product — 一個可能的反例：角色也許不會向內遷移
  • Model Spec Midtraining (MSM) — 對齊從 harness-prompt-injection 移向模型內化的價值觀，是對齊軸上的苦澀教訓式移動
  • Compute Allocator — 說明哪些事物留在人類一側：分配決策與支援人類的 scaffolding 不會向內遷移，即使面向模型的結構會遷移
  • HTML as the New Markdown — 「為模型留下讓它帶來驚喜的空間」是這項教訓在提示層級的形式；但例外是，面向人類的可讀性（HTML artifacts）位於不會溶入模型的一側
  • MCP and Computer Use — Boris Cherny 的「對模型而言，那就只是 tokens」表示 substrate 的選擇（MCP／API／computer use）是模型決策，而不是 harness 決策；這是工具派送的苦澀教訓終點
  • Agentic Loops Overtake Bespoke Systems — 語料庫中最清楚的實證確認：隨著 LLM 進步，DeepMind 的簡單 agentic loop 在開放數學問題上，追上了其特製訓練系統（AlphaProof + evolutionary search）
  • AI R&D Autonomy Evaluation (AECI) — 如果苦澀教訓一路貫徹，擴展通用方法最終會改進自身；AECI 是 Anthropic 用來衡量該門檻是否接近的方法
  • Recursive Self-Improvement — 這項原則最遠的外推：「研究進展主要是工具與資源的函數」，因此勞力（99%）將可自動化
  • AI Accelerating AI Development — 實證案例：核心最佳化迴圈從 3×→52×，是擴展通用方法擊敗手工調校的量化結果
  • Research Taste as the Human Bottleneck — 對最後一個尚未被突破之處的開放押注：研究品味是真正的天花板，還是苦澀教訓將溶解的下一個結構？
  • Build for the Next Model — 產品策略推論：既然能力會在各版本發布時向內遷移，就製作「差一點就能運作」的東西，讓下一個模型消除落差，而不是繞著它進行工程設計
  • Task Time-Horizon Scaling — 通用基準能力上升的曲線，正是持續縮小手工 scaffolding 優勢的曲線
  • The Verifiability Thesis — Karpathy 對擴展 RL 為何跑贏手工工程的解釋：實驗室將計算能力投入可驗證獎勵的環境
  • Software 3.0 — 將神經網路作為主機程序的外推，是一路把苦澀教訓推到硬體層的結果
  • Universal AI (AIXI) — 形式化版本：「智慧是穿越假設／政策空間的搜尋」，其中交錯執行的 AIXI 近似保證會隨計算能力增加而改進（但代價是暴力搜尋不可行）
  • Effective Compute Scaling — 「擴展是否足夠？」是以預測問題形式提出的苦澀教訓；DeepMind 對樸素暴力搜尋在玩具領域之外失效的警告，呼應 Sutton 的「搜尋需要良好先驗」
  • Andrej Karpathy — 經常引用這項原則的人（可驗證性、幽靈、Software 3.0 都建立在其上）
  • Repository Exploration Subagent — 一個活生生的測試案例：FastContext 訓練專門的探索器（手工打造的結構），但它自身的「同模型探索」基準線顯示，持久的收益來自架構分離，而不是訓練出的模型——苦澀教訓預測，隨著基礎模型變得更便宜，這項收益將會縮小
  • Inference Efficiency as Capability — 例外：不編碼任務先驗的結構（KV cache、量化、drafters）永遠不會向內遷移，反而會累積
  • Gemma 4 — 在同一版本中移除編碼器並加入推論路徑結構，清楚劃出界線
  • Single-Rollout Optimization — 同樣雙向移動在訓練迴圈中的案例；手工打造的 critic 是 scaffolding，在推論時被丟棄，因此永遠不會向內遷移
  • Asynchronous RL for LLMs — DIS 是「透過進一步移除而變得更簡單」（π_θ_old、checkpoint history）；RL 管線與推論路徑一樣，皆不受此限
  • Group Relative Policy Optimization (GRPO) — 移除 critic 本身就是苦澀教訓式的移動；SAO 是一項衡量這種移除何時走得太遠的論證

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 40
Related articles
  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Open Questions Backlog

    _456 actionable open questions across 205 pages · 107 predictions · 9 notes · 147 in progress · 69 watching (entities),…

  • Interaction Models

    Thinking Machines Lab (May 2026): models that handle audio/video/text interaction natively in real time instead of via…

  • Claude Code

    Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React on Bun (itself Claude-rewritten…

  • Jagged Intelligence (Ghosts, Not Animals)

    "Ghosts not animals": jagged statistical circuits, no intrinsic motivation; car-wash/strawberry failures; stay in the l…