H
Howardism
Plate IIAgent Systems機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

Context Window Smart Zone

PublishedMay 6, 2026FiledConceptDomainAgent SystemsTagsLLM ArchitectureAgent EngineeringContext ManagementReading5 minSourceAI-synthesised

智慧區 vs 愚笨區（Dex Hardy / Matt Pocock）：注意力的 二次方縮放、與宣稱的上下文大小無關的約 100K 標記；清除並重新開始 > 壓縮； 狀態列 token 計數是不可或缺的紀律

Context Window Smart Zone 的插圖

資料來源#

摘要#

LLM 並不會隨著上下文增長而線性退化；它們會呈二次方退化，因為注意力關係會隨 token 數量以 O(n²) 擴展。Matt Pocock（引用 Human Layer 的 Dex Hardy）將此描述為 smart zone / dumb zone 的分界：任何工作階段的前約 100K 個 token 都是模型表現良好的智慧區；超過這個範圍後，無論宣稱的上下文視窗大小為何，模型都會「越來越笨」。實際含義是：上下文預算是一項真實且嚴格的資源，而 agent harness 有責任讓個別工作階段維持在智慧區內。

這項限制#

「每次你為 LLM 加入一個 token，就有點像是在足球聯盟中增加一支球隊。比賽數量會以二次方上升。」

「不管你使用的是 1 million context window 還是 200K，它始終會在大約 [100K]。它會開始變得越來越笨。」

— Matt Pocock

2026 年推出的 1M-token 上下文視窗並沒有移動智慧區——它們「只是推出了更多愚笨區」。長上下文對於檢索很有用（在五本《War and Peace》的副本中找出一項事實），但不適合推理（撰寫依賴全部內容的程式碼）。

Memento 比喻#

每個工作階段都是全新的開始。工作階段之間沒有記憶；模型每次都會重設回 system prompt。這是一項限制，但也是一項特性——清除上下文就能以低成本恢復智慧區行為。持久狀態必須存放在下一個工作階段可以讀取的位置（repo、filesystem，或索引式目錄）。

壓縮不如清除#

Claude Code 的 /compact 指令會將進行中的工作階段摘要成較小的歷史記錄。Pocock 偏好 /clear：

  • 壓縮後的歷史會累積「沉積物」——扭曲與有損摘要——使後續工作品質下降
  • 清除並重新開始會回到已知的乾淨基準（system prompt）
  • 清除的成本會透過在智慧區內工作而獲得回補

這項分歧並非普遍存在——許多開發者喜歡壓縮，因為它能保留連續性。正確的選擇取決於你的任務是否能夠從書面紀錄乾淨地恢復（那麼應偏好清除），或是需要進行中的對話上下文（那麼壓縮勝出）。

對 harness 設計的影響#

  1. System prompt 預算。 任何始終存在於上下文中的內容，都會消耗智慧區預算。「我看過有人把 250K token 放進 [system prompt]，那你甚至還沒開始做任何事，就已經進入愚笨區了。」讓 CLAUDE.md / AGENTS.md 成為目錄，而不是百科全書（參見 Agent Harness Engineering 中將 AGENTS.md 作為 ToC 的說明）。
  2. Sub-agent 保留父層上下文。 Sub-agent 會在自己的上下文視窗中執行；只有它的摘要會返回。Pocock 的 grill-me skill 執行了一個 93.7K-token 的 sub-agent，但他的主要工作階段仍有約 25K token 未使用。
  3. 將工作切分成許多工作階段。 Loops（參見 Agent Loop Pattern）與垂直切片（參見 Vertical Slice Tracer Bullets）之所以有效，是因為每次迭代都會在智慧區中重新開始。
  4. Reviewer 應在全新上下文中執行。 如果 implementer 在智慧區使用了 80K token，要求它審查自己的工作就會把 reviewer 推進愚笨區。清除後的上下文等於智慧區 reviewer（參見 Deep Modules for Agents 中關於 push-vs-pull 與 reviewer 安置的說明）。
  5. Push vs pull 指令。 始終存在於上下文中的指令會消耗智慧區 token；按需拉取（skills）在被呼叫前不會產生成本。

狀態列 token 計數器是不可或缺的工具#

Pocock 建議使用顯示每個工作階段確切執行中 token 數量的狀態列元件——沒有它，開發者就不知道自己何時接近愚笨區。他將此視為「絕對不可或缺的資訊」。

相關連結#

  • Matt Pocock — 智慧區框架的推廣者
  • Agent Harness Engineering — system-prompt 極簡主義與 AGENTS.md 作為 ToC，都是智慧區原則的重述
  • Agent Loop Pattern — 將工作切分以維持在智慧區內，正是 loops 強大的原因
  • Vertical Slice Tracer Bullets — 讓每項任務保持小到足以容納於智慧區中
  • Design Concept Grilling — grilling session 使用 sub-agent，因此父層上下文能維持較小
  • Deep Modules for Agents — 審查前清除是智慧區紀律
  • Harness Shrinkage as Models Improve — 智慧區可能會擴大（「愚笨區最近變得沒那麼笨了」），但二次方注意力仍然限制著它
  • AI Brain Fry — 智慧區在人類一側的類比：監督能力超過容量後也有自己的退化曲線，映照出模型超過約 100K token 後的注意力退化
  • Interaction Models — 每 200ms 一次的持續音訊／視訊會快速累積上下文；TML 將長工作階段的上下文管理列為開放問題——同一項限制在新模態中的呈現
  • HTML as the New Markdown — 人類注意力的類比：讀者超過一定量的無差別 markdown 後會退化，就像模型超過約 100K token 後會退化；HTML 將 token 花在可讀性上，提高了人類有效的智慧區
  • Agentic Technical Debt — 創辦人的持久上下文紀律（CLAUDE.md）會與智慧區預算競爭；過長的上下文檔案會成為自身的問題

開放問題#

  • 智慧區標記會隨模型大小擴展，還是受注意力架構限制？Pocock 觀察到「愚笨區最近變得沒那麼笨了」，但截至 2026 年仍將其定位在 100K。
  • 當 sparse-attention 或 memory-augmented 架構推出後，智慧區會變成軟性限制嗎？
  • Harness 應如何向使用者呈現剩餘的智慧區預算——token 數量、百分比，還是更豐富的訊號？

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 37
Related articles
  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Agent Harness Engineering

    Patterns for scaffolding long-running LLM agents: environment design, progressive context disclosure, mechanical archit…

  • Claude Code Best Practices

    Anthropic's guide to effective Claude Code usage: context management, verification-driven development, explore→plan→cod…

  • Agent Loop Pattern

    `/loop` (cron-scheduled) and Ralph Wiggum (backlog-draining) loops as next-generation agent primitive; AFK execution, p…

  • Design Concept Grilling

    Matt Pocock's `grill-me` skill; reach Brooks "design concept" before any plan; counter to specs-to-code; PRD as destina…