這些問題#
來自 harness 演進主題群的三個 #oq/now 問題,合併為一篇綜合回答:
- Harness Shrinkage as Models Improve — 隨著模型進步,所有提示詞鷹架最終都會遷移進模型嗎?還是有些會留存(組織特定風格、安全規則、品牌語調)?
- Instruction Compounding — Anthropic 的累積清單是按每次發布手動整理的;是否有可偵測的訊號能標出哪些提示詞指示已開始累積成負擔,讓修剪不必靠人工重讀?
- Build for the Next Model — 這項押注仰賴可靠的發布節奏;如果模型進步停滯,會發生什麼事?
回答一:不會——要求會遷移,另外五類不會,還有一類會反向流動#
問題中的例子(組織風格、安全規則、品牌語調)都會留存,而分類規則已在語料中:苦澀教訓適用於編碼人類對任務先驗的結構——隨著能力提升,這類結構會遷移到模型內部;但編碼邊界、紀錄、身分或服務運算的結構,沒有可供遷移的「內部」(The Bitter Lesson 的部署豁免)。將這條規則套用到整個主題群,會縮減的恰好只有一類——行為要求(做得周全、進行驗證、使用待辦清單、開始一個迴圈)。當模型原生就能做出這些行為,要求便會消融,超過有效期限後還會積極造成傷害(Instruction Compounding:原生傾向 + 指示 = 疊加過頭)。Fable 5 Pokémon 的結果是最清楚的示範:視覺與導航鷹架沒有改良,而是直接刪除(Harness Shrinkage as Models Improve)。
以下各類會留存:
- 邊界執行。 測試、linter、結構描述、hook、隔離、權限——這是與外部現實相連的契約(Where Does Agent Harness Work Remain Durable as Models Improve?,第 2/4/5 層)。七月的證據進一步強化了這一類:在 Opus 5 上,以約束形式撰寫的指示(留在範圍內、委派上限),在同一個模型上仍然有效,即使以要求形式撰寫的指示會開始累積成負擔(Instruction Compounding 的不對稱性——以提示詞形式撰寫的 Least Agency)。安全規則之所以留存,是因為它們是約束,而非要求——代理程式安全語料也獨立得出結論:無論模型能力多強,執行機制都必須位於可受操控的模型之外。
- 組織特定紀錄。 儲存庫在地的決策、規格、慣例:「更聰明的模型能從程式碼推知更多,但無法推知一個從未記錄的現行決策」(Where Does Agent Harness Work Remain Durable as Models Improve?,第 1 層)。組織風格若屬於任意選擇而非一般能力,就歸在此類——即使有充分理由支持不同慣例,團隊選了哪一種,也不是任何訓練流程能學到的。
- 刻意維持的身分。 角色/品牌語調是鷹架不會縮減的明確反例:模型之間的能力會改變,而角色則被刻意維持穩定——修剪原則在此反向運作,在能力躍升期間保留連貫性(Claude Character as Product)。身分鷹架不是用來彌補能力缺口,因此能力增長不會使它過時。
- 推論/部署結構。 KV-cache 技巧、量化、服務路徑都不編碼任務先驗;它們只會持續累積,不會縮減(The Bitter Lesson,Gemma 4 實例)。
- 面向人類的可理解性。 讓人類留在迴圈中的鷹架(HTML 計畫、審查介面、資源分配器那 99% 的鷹架)會隨模型進步而增加,因為主要限制從「模型能不能做到」轉為「人能不能持續參與迴圈」(HTML as the New Markdown、Compute Allocator)。
還有一類朝相反方向流動:溝通校準。同一份 Opus 5 指南要求刪除驗證指示,卻也要求加入長度指示,因為四種輸出通道的預設長度都增加了,而努力程度控制不了其中任何一種(Output Length Calibration)。因此,發布節奏下的檢視刻意採雙向處理:移除能力鷹架,同時加入溝通鷹架(Harness Shrinkage as Models Improve)。
因此,這個論點更持久的表述是:「harness 縮減」其實就是要求縮減。 系統提示詞不會趨近於空白,而是收斂為約束、紀錄、身分與校準的殘餘——只要可行,就把執行工作從文字描述移到機制中。
回答二:原則上可以——特徵是消融後不劣,加上反轉的劑量反應#
累積機制(原生行為 + 指示 = 超過有效點)帶來一些訊號,可用來區分開始累積成負擔的指示、仍有用的指示,以及單純多餘的內容:
- 消融後不劣(決定性測試)。移除該指示;對於已開始累積成負擔的指示,預期品質不變或改善,同時 Token 數減少——這正是 Anthropic 自己的標準:「移除後能減少浪費的 Token,且品質不會下降」(Instruction Compounding)。移除仍有用的指示會使品質下降;移除多餘內容則品質不變,Token 數也幾乎不變;移除已開始累積成負擔的指示,品質會維持或改善,且 Token 數會大幅下降。這就是該頁第三個未解問題所提到、可逐條驗證的測試。
- 反轉的劑量反應(低成本指紋)。最大的幾個案例中,核心行為是透過實證發現的:努力程度越高,表現反而越差——即努力反轉特徵(Unproductive Self-Verification)。一般化做法是:升高指示強度(用更強烈的措辭、提高努力程度)並觀察指標;有幫助的指示會提升表現或達到飽和,開始累積成負擔的指示則會反轉。不必逐條消融,只要觀察升級指示後的反轉,就能從評估差異中偵測出來。
- 建立原生行為基準(安排後續工作的預篩選)。針對每一條要求形式的指示,測試未受指示的模型是否已會做出該行為——待辦清單的變化軌跡(強烈提示 → 自發執行 → 降低強調)正是這類訊號,只是目前由人跨版本手動讀取(Harness Shrinkage as Models Improve)。與目前已成原生行為重複的指示,就是可能開始累積成負擔的候選項;約束形式的指示則可完全略過(不對稱性代表它們不會累積)。這能把 Cat Wu 逐字閱讀整份提示詞的工作,轉化為按優先度排列的候選清單。
- 不該採用的方法:讀取模型自身的說法。 同一份指南指出,自我指涉訊號會誤導人——點名思考標記會讓外洩增加;也就是說,把失敗直接說出來反而會使情況惡化(Instruction Compounding)。以行為消融來測試,勝過詢問模型對自己提示詞的看法。
現況:從現有證據中可以辨識這個特徵,但語料中沒有來源將其自動化——每次發布的累積清單仍由人工整理,而把 Token 數遙測當作持續監測指標(在固定任務上,驗證膨脹會表現為步數/Token 增長)是本文提出的建議,尚無任何實測。部分回答。
回答三:這項押注是押注發布節奏的低成本買權——停滯時損失的是權利金,而非公司#
「為下一個模型打造產品」之所以能優雅退場,是因為其倡議者採取的策略本身就具備這種特性(Build for the Next Model):
- 下檔風險受原型經濟學限制。 這項策略明確將原型視為低成本投資組合——「把所有點子列出來,逐一做成原型,讓其他原型先放著醞釀,每次模型躍升時再重試」(Ambrosino)。等待中的原型就是選擇權的權利金;若發展停滯,代表選擇權到期而未行使,損失就是(刻意壓低的)原型開發成本——前提是團隊把需求驗證與能力押注分開(Build for the Next Model/問題解決契合度的調和:原型回答能力風險,絕不回答市場風險)。
- 訓練端進展停止後,有效能力仍會持續上升一段時間。 Latent Capability Overhang 是一種避險方式:已發布的模型能做的遠多於人們已經挖掘出的能力,而能力挖掘(鷹架、測試時計算、降低成本)會在沒有新版本的情況下持續進步。發布節奏停滯,不代表產品可交付的能力立刻停滯——前沿會從「等模型」轉為「挖掘模型」,正是潛在能力餘裕一文所指出、這項押注的另一面。
- 過去的拐杖會重新成為正確的工程做法。 這項策略的核心主張是:圍繞能力缺口打造工程方案,會成為折舊資產,因為下一次發布就會刪掉它。一旦發布節奏停止,折舊也就停止:「等待模型」的缺口會重新歸類為持久的 harness 缺口,而過去錯誤的做法——打造補償性鷹架——便會成為正確選擇。Ambrosino 對「此刻過於 AGI 狂熱」的修正(依照現有能力匹配互動形式,就像 Claude Code 採用的在地提問形式),不再只是過渡階段,而成為長期立場。
- 競爭介面會轉向持久層。 在停滯但廣泛擴散的未來,差異化不再來自追逐能力前沿,而會轉向始終不會遷移到模型內部的部分:驗證基礎設施、組織特定紀錄、身分,以及面向人類的可理解性(回答一提到的留存類別;Where Does Agent Harness Work Remain Durable as Models Improve?)。harness 會重新累積到凍結的能力水準所設定的均衡狀態;發布節奏下的修剪流程也不再找到可刪除的指示——而指示累積成負擔的情況會停止惡化,因為陳舊指示之下不再出現新的原生行為。
因此,即使在停滯情境下,讓這項押注合理的不對稱性依然成立:以下一個具體版本為目標校準(而非幻想 AGI),並使用低成本原型和獨立的市場驗證,這項策略在停滯時只付出一筆已知的小額權利金,在發布節奏維持時則能抓住新版本帶來的機會。它無法承受的是校準錯誤——推出核心迴圈仰賴尚不存在能力的產品;這種產品在兩種情境下都是空中樓閣。
綜合結論#
這三個答案有一條共同主軸:依照鷹架編碼的內容分類,而非看它的外觀。 任務先驗(行為要求)會遷移到模型內部、過期,然後反轉成傷害——因此需要逐版本偵測器,而消融/劑量反應特徵就是這個偵測器的規格。邊界、紀錄、身分、服務結構,以及面向人類的可理解性永遠不會遷移,因此投資這些部分能抵禦停滯風險。而建立於遷移之上的產品策略(為下一個模型打造產品),只有在押注限於會遷移的類別、並按選擇權定價時才安全——只要押注的下檔風險超過原型成本,就已經跨進持久類別,應該直接投入工程建置,而非等待。
Cited by 10
- Build for the Next Model×3
What Scaffolding Survives Model Improvement — the stall analysis: the bet is a cheap call option on…
- Instruction Compounding×3
Compounding is a per-line quality problem — one instruction duplicating a native behavior makes the…
- Harness Shrinkage as Models Improve×2
What Scaffolding Survives Model Improvement — the survivor taxonomy answering this page's migration…
- Harness Value Is a Product, Not a Score — Why the Artifact-Payoff Questions Keep Returning Partially Answered×2
What Scaffolding Survives Model Improvement — the prior answer to Q2's signature
- Open Questions Backlog×2
Instruction Compounding: Anthropic's list is hand-curated per release. Is there a detectable signal…
- What Makes a Self-Improvement Artifact Transfer?×2
Treat solver-fitted artifacts as depreciating stock: re-audit on every release with the ablation /…
- Authority and Audit Survive Abundance
The shared shape: both ask whether abundance retires a layer — model capability retiring authority…
- The HTML Artifact Lifecycle: Where Plan History Lives, and When Disposable Becomes Durable
Graduation is not free. A durable artifact inherits the obligations disposables never pay:…
- Agent Systems & Harness Engineering
What Scaffolding Survives Model Improvement — Three-question synthesis of the harness-evolution…
- Verifying Without a Compiler: Cowork's Harness vs Claude Code's, and Why the Slice Verifier Stays
The survivor taxonomy already classifies it. A slice-shape checker is boundary enforcement — the…
Related articles
- Harness Shrinkage as Models Improve
Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…
- Instruction Compounding
When a model performs a behavior natively, an instruction telling it to do that behavior stops being redundant and beco…
- Open Questions Backlog
Generated by `_system/lint.py --write-backlog`. Do not hand-edit. Domain and Watching sections carry one row per page —…
- Agent Context Files
The cross-vendor markdown-as-control-plane pattern: repo-versioned plaintext (CLAUDE.md / AGENTS.md / SOUL.md / WORKFLO…
- Claude Opus 5
Anthropic's Opus-class release of July 2026; matches Mythos 5 on capability without advancing the frontier, is the best…
