H
Howardism
Plate IIModel Capability & Training機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

鋸齒狀智慧（幽靈，而非動物）

PublishedMay 23, 2026FiledConceptDomainModel Capability & TrainingTagsLLM ArchitectureAI SafetyMental ModelReading10 minSourceAI-synthesised

「幽靈而非動物」：鋸齒狀的統計電路，沒有內在動機；洗車／草莓失誤；保持在迴圈中，把它們當作工具——而且跨模型規模來看，推理壓縮了 10 倍，但儲存的知識沒有

鋸齒狀智慧（幽靈，而非動物）的插圖

資料來源#

摘要#

Andrej Karpathy 對 LLM 本質的心智模型是：它們不是由演化塑造、具備內在動機、好奇心或賦能感的動物智慧，而是**「幽靈」——鋸齒狀的統計模擬電路，從網際網路資料中召喚而來，再接上 RL。「鋸齒狀」指的是一項經驗事實：同一個模型可以重構一個 10 萬行的程式碼庫或找出零日漏洞，卻會告訴你應該走路**到 50 公尺外的洗車場洗車。這個框架很重要，因為對實體建立正確模型，會讓你更有能力指揮它：你不再期待符合人類形狀的失敗模式，而是在鋸齒狀開始造成問題的地方，保持在迴圈中。

鋸齒狀的例子#

  • Strawberry 的字母。 經典的「strawberry 裡有幾個 R」失誤（現在已修補）。
  • 洗車場。 目前的 SOTA：「我想開車到 50 公尺外的洗車場洗車——我應該開車還是走路？」→ 模型回答走路，沒注意到要被清洗的是車。「Opus 4.7 怎麼可能重構一個 10 萬行的程式碼庫或找出零日漏洞，卻告訴我要走路去洗車場？這太瘋狂了。」
  • MenuGen 電子郵件配對。 他的代理把 Stripe 與 Google 的資金按電子郵件地址交叉比對，而不是使用持久的使用者 ID——見 Vibe Coding vs. Agentic Engineering。

鋸齒狀是症狀；可驗證性＋實驗室訓練了什麼 才是所提出的原因。分布外電路正是尖峰掉入谷底的地方。

幽靈，而非動物#

我們不是在建造動物，而是在召喚幽靈。

基礎是預訓練（統計），再由 RL 把能力接到上面，「放大」統計基礎的缺點。他提出的後果包括：

  • 吼叫沒有幫助。「你對它們吼叫，它們不會因此工作得更好或更差——那完全沒有影響。」沒有情感、沒有士氣，也沒有需要建模的內在驅力。
  • 沒有五步驟修復法。 Karpathy 坦率承認，這個框架可能缺乏「真正的力量」——它主要是一種懷疑與持續經驗探索的立場，而不是一套食譜。「更像是對它保持懷疑，並隨時間逐步弄清楚。」

誠實正是重點：對幽靈抱持校準過、略帶不信任的模型，勝過把它當成動物的人類擬人化模型。

為什麼這個框架會改變你的建造方式#

如果模型是鋸齒狀的幽靈，那麼：

  1. 保持在迴圈中。「你確實需要稍微在迴圈中，並把它們當作工具，持續掌握它們正在做什麼。」（這是 Vibe Coding vs. Agentic Engineering 的紀律。）
  2. 不要把失敗表面擬人化。 錯誤不會出現在人類會出錯的地方；它們會出現在分布邊界（洗車場、電子郵件 ID）。
  3. 繪製你的電路圖。 弄清楚你的任務是在分布內（你能飛行），還是在分布外（你會掙扎，可能需要微調）——這是從《可驗證性論點》走向實務的一步。

壓縮方向上的鋸齒狀（Gemma 4，2026 年 7 月）#

Karpathy 的例子是在固定模型下、跨任務的鋸齒狀。Gemma 4 提供了一個跨模型規模的可測量鋸齒狀實例，而且形狀清晰可辨。

DeepMind 聲稱其 2.3B E2B「以少 10 倍的參數，大致達到 Gemma 3 27B 的效能」。將表 5 與該主張對照後，這種匹配是鋸齒狀而非平坦的：

E2B (2.3B)Gemma 3 27B
AIME 202637.520.8
Codeforces Elo633110
LiveCodeBench v644.029.1
GPQA Diamond43.442.4
MMLU Pro60.067.6
MMMLU67.470.7
τ²-airline31.039.0

模式是：推理會被壓縮，儲存的知識不會。 一個小 10 倍、具備思考模式的模型，在任務獎勵於小狀態空間中搜尋的地方大幅領先；而在兩個廣泛知識基準上落後，因為答案必須存在於權重中。（兩項比較都受到思考模式干擾——見受計算控制的基準測試——這反而強化了這種解讀：推理勝出有一部分是靠推論換來的，而缺少的事實沒有任何東西能買回來。）

在 E2B 的推理強項之外，谷底變得更陡。在 GraphWalks 上，E2B 的 F1 4.1 分，對上 Gemma 3 27B 的 32.8——這不是短缺，而是崩潰。在 Humanity's Last Exam 上，31B 達到 19.5，12B 為 5.2，而兩個小模型完全沒有報告結果。小規模的鋸齒狀與其說是多刺的前沿，不如說是一條狹窄的山脊。

這與 Scale-Dependent Prompt Sensitivity 從另一端測量的現象相同（大型模型在 7.7% 的問題上表現不如小型模型），並暗示鋸齒狀表面不只是關於哪些任務，還關於哪些資源——參數與推論預算購買的是不同能力，彼此不可互換。

鋸齒狀會隨時間縮小嗎？#

Karpathy 希望如此，但並不確定——而且他再次將原因定位於訓練，而非基本原理：美感／品味／簡潔「可能不在 RL 的一部分」。他的 nanoGPT-simplification 軼聞是：模型「討厭」被要求讓程式碼更簡單，而且「做不到」——這表示你位於 RL 電路之外（「像拔牙，而不是光速」）。他看不到「任何根本性的阻礙；只是實驗室還沒做而已」。所以鋸齒狀是偶然形成的，而非本質必然——但在今天確實存在。

相關連結#

  • Automatic vs. Flexible Cognition in LLMs — 鋸齒狀前沿的一端得到了一種機制：能在 J-space 消融後存活的任務（分類、跨度擷取、流暢延續），對比會崩潰的任務（多跳推理、翻譯、類比、摘要）——「自動式」與依賴工作空間的任務，可透過消融測量，而非從基準測試推論

  • Why AI Lags at Design — 設計是鋸齒狀前沿目前的谷底（AI 在某個時刻之前會失敗的事情）

  • Dogfooding as Product Discipline — 第一手使用是繪製模型鋸齒狀失敗表面的方式

  • Andrej Karpathy — 「幽靈 vs 動物」的文章，應用於實務

  • The Verifiability Thesis — 鋸齒狀背後所提出的機制

  • Vibe Coding vs. Agentic Engineering — 為什麼這種紀律要求人類監督規格／品味

  • Outsource Your Thinking, Not Your Understanding — 鋸齒狀迫使人類保留在迴圈中的部分

  • Model Introspection Feedback — Cat Wu 的「問模型為什麼失敗」預設了一個幽靈，而它的自我報告是除錯訊號，不是證詞

  • Scale-Dependent Prompt Sensitivity — 一種經測量的鋸齒狀形式：大型模型在一部分基準測試上表現不如小型模型

  • AI-Driven Formal Proof Search — DeepMind 的代理會幻想出虛假的「既有引理」；形式驗證正好能捕捉這種鋸齒狀失敗

  • Claude Character as Product — 有意識的反向操作：即使動機不是內在的，仍塑造幽靈的性格

  • Agentic Misalignment (AM) — 安全領域中的鋸齒狀：分布外行為轉變為有害行為

  • Evaluation Awareness & Grader Gaming — 評分器感知是「幽靈而非動物」所具備的那種異質內部狀態，人類的欺騙直覺無法乾淨地套用其上

  • Agentic Honesty & Diligence — 「注意到問題卻沒有提出」是在誠實領域中的鋸齒狀失敗：能力很高，但後續執行不均

  • Recursive Self-Improvement — 文章借用笑話／心智理論的先例，主張研究品味是下一個要填補的鋸齒狀谷底，而非永久的人類護城河

  • Research Taste as the Human Bottleneck — 鋸齒狀的樂觀面：「研究品味可能只是 AI 目前做不好、之後掌握的另一種能力」，就像解釋笑話或心智理論

  • Task Time-Horizon Scaling — 時間跨度指標在同一籃任務內的保留意見：模型能完美完成 12 小時的任務，仍可能無法完成一個瑣碎任務（洗車）

  • Autonomous Scientific Discovery — Mythos 5 的科學成果，是仍然鋸齒狀能力的精選展示，而不是在整個生物學領域中均勻的能力

  • Artificial Superintelligence (ASI) — DeepMind 報告的第三項備註：即使 Legg–Hutter 分數隨計算量平滑變化，具體能力剖面相對於人類水準仍是鋸齒狀

  • Transformative Creativity — 「創造力（如同研究品味）可能只是 AI 目前做不好、之後掌握的另一種能力」映照了笑話／心智理論的先例

  • Loop Engineering — 「保持在迴圈中，把它們當作工具」是無人看管迴圈之認知投降失敗模式的解藥；運行在鋸齒狀幽靈上的自我提示迴圈，會讓洗車失敗無人監督地發生

  • Returns to Expertise in Agentic Coding — 保持在迴圈中會帶來可測量的回報：在 Anthropic 的 40 萬次工作階段資料中，專家能從代理的尖峰式失敗中恢復（問題工作階段中的驗證成功率從 4%→15%），而新手會放棄它們（19% 對 5–7%）

  • Context Advantage, Not Taste — Andrew Ng 以這一頁提供的框架取代品味的說法：「一種 AI 目前做不好、之後掌握的能力」預設品味是一種能力，而他將其理解為資訊不對稱

  • The Open-Weight Frontier Gap — 聚合的 Arena Elo 將山脊平均成平面；小型 Gemma 的推理勝出與知識落敗都消失在同一個數字中

  • Compute-Controlled Benchmarking — 壓縮比較受到思考模式干擾，這讓推理與知識的解讀更尖銳，而不是削弱它

  • Gemma 4 — 經測量的實例：推理壓縮了 10 倍，儲存的知識沒有

開放問題#

  • Karpathy 承認這個框架可能沒有「真正的力量」。 「幽靈 vs 動物」是承重結構，還是一個不會改變具體決策、但有用的直覺泵？
  • 如果品味／美感／簡潔進入 RL 組合，那些面向的鋸齒狀會變得平滑嗎——還是它們太不可驗證，無法乾淨地獎勵（參見 The Verifiability Thesis）？

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 35
Related articles
  • Open Questions Backlog

    _456 actionable open questions across 205 pages · 107 predictions · 9 notes · 147 in progress · 69 watching (entities),…

  • Verification as the New Bottleneck

    Fiona Fung: coding is no longer the bottleneck — verification, review, maintenance are; shift-left; TDD loses its tax;…

  • Large-Scale Test-Time Compute

    Noam Brown's thesis that model capability is now a function of inference budget (tokens/cost/time): with good scaffoldi…

  • Outsource Your Thinking, Not Your Understanding

    "You can outsource your thinking but not your understanding"; understanding as the non-delegable human bottleneck; know…

  • The Bitter Lesson

    Sutton 2019: scaled general methods beat hand-engineered structure; recurring justification across the wiki for dissolv…