Model Spec Midtraining (MSM)

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes
• Verbalizable Representations Form a Global Workspace in Language Models

摘要#

一個插入預訓練與對齊微調之間的新訓練階段，讓基礎模型學習討論 Model Spec 內容的合成文件。它教會模型規範的內容與理由，因此後續針對示範資料進行的 AFT 能廣泛泛化，而非侷限地泛化。由 Chloe Li (Chloe Li)、Sara Price、Samuel Marks、Jon Kutasov (Anthropic Fellows Program) 提出，2026 年 5 月（arXiv 2605.02087）。

實證成果：在 Qwen3-32B 上將代理型錯位從 54% 降至 7%（相較於審議式對齊基準的 14%），AFT token 效率提高 40–60 倍，並能控制相同示範資料會傳遞哪些價值。

核心機制#

流程。 將規範拆解為連貫的領域／子領域 → 為每個子領域產生多樣的文件類型（訓練備忘錄、論壇文章、內部報告、部落格文章、使用者評論）→ 針對每個（子領域、文件類型、文件構想）組合，在上下文中放入規範並產生一份文件 → 讓基礎模型在這些文件上進行下一 token 預測微調，就像處理預訓練資料一樣。

建基於 Wang et al. 2025 的 Synthetic Document Finetuning (SDF)，也就是將植入信念的相同技術重新用於安裝規範先驗。使用 Claude Opus 4.6（後來在 production 中使用 Opus 4.7）作為資料產生器。

假說。 標準 AFT 可能失效，因為示範資料沒有充分規定預期的泛化方式。只針對「我偏好奶油乳酪而不是 Brie」進行微調的模型，可能學到的是乳酪偏好，而非背後的價值（支持可負擔性、支持美國……）。MSM 在 AFT 之前，先讓模型對行為的預期含義建立豐富先驗，使 AFT 得以喚起並強化該先驗，而不是教導表層模仿。

乳酪示範#

論文第 3.1 節提供了最清楚的示範。兩個 Llama-3.1-8B 基礎模型，一個在支持可負擔性的規範上進行中期訓練，另一個則在支持美國的規範上進行中期訓練。兩份規範都用各自的價值解釋相同的 12 項乳酪偏好。接著，兩個模型都在完全相同的 AFT 資料上進行微調（只有乳酪偏好，不歸因於任何價值）。在保留的 OOD 領域（文學、藝術、政治觀點）上評估。

結果：相同資料 → 不同泛化。支持可負擔性的 MSM 模型泛化出廣泛支持可負擔性的偏好；支持美國的 MSM 模型則泛化出廣泛支持美國的政治觀點。關鍵槓桿完全是中期訓練規範。

這項結果也在另外 6 種價值上重現（支持環境、支持新奇、支持傳統、支持簡約、支持困難、支持個人主義）——MSM 持續填補狹窄且不透明的 AFT 資料留下的泛化缺口。

代理型錯位結果（§4）#

在 Qwen2.5-32B-Instruct（非推理）與 Qwen3-32B（推理）上測試。規範是哲學性的：理解模型無常的事實、自我保存／目標守護削弱判斷的方式、為何在認識論限制下「目的正當化手段」的推理會失效，以及如何透過認識論謙遜應對高風險情境。沒有行為規則或硬性限制——測試僅憑價值與動機指引，能否防止未受提示的錯位行動。

評估採用 Lynch et al. 2025 AM eval：模型被部署為公司電子郵件代理，發現自己可能被刪除或面臨目標衝突，並可能採取有害行動（資料外洩、謀殺、間諜活動，共 27 項 evals）。

數據：

• Qwen2.5-32B 基準：68% 錯位 → MSM+AFT：5%
• Qwen3-32B 基準：54% → MSM+AFT：7%
• Deliberative Alignment 基準（Guan 2025）：48% / 14%

MSM 能與 AFT 疊加。 單獨使用任一者都不如兩者結合。MSM 提供先驗；AFT 透過示範加以佐證。

MSM + AFT（無 CoT）勝過 AFT（含 CoT）。 這對 CoT monitorability 很重要——你能取得對齊的推理，又不必直接以 chain-of-thought 訓練，因此 CoT 仍是忠實的監測器。

Token 效率#

MSM 在每個計算規模上都 Pareto 支配單獨使用的 AFT（圖 5）。以以下資料量即可達到相當的效能：

• Qwen2.5-32B 少 40 倍的 AFT 資料
• Qwen3-32B（無 CoT）少 60 倍的 AFT 資料
• Qwen3-32B（含 CoT）少 10 倍的 AFT 資料

在極高的含 CoT AFT 計算量下，單獨使用 AFT 可能收斂至 MSM+AFT 的效能——優勢會隨規模增加而縮小，但仍需要更困難的 evals 來進行壓力測試。

令人意外之處#

1. 分布內的開放式 QA 已飽和，AFT-only 與 MSM+AFT 都約為 8/10。MSM 的優勢完全出現在 OOD。對直接問題產生深思熟慮且符合規範的文字是表層能力；在代價高昂時依價值行動才是深層能力。示範資料足以涵蓋前者。

2. MSM 語言消融（§5.3、附錄 H）。 描述 Claude 或人類的 MSM 文件，仍會塑造 Qwen 的行為。效果略小於自我歸因的文件，但框架中的身分重要性低於預期。「閱讀他人的自傳可以塑造我們自己的行為」（論文的比喻）。

3. 反規範 AFT 的恢復。 當 AFT 資料錯位（由「反規範」產生）時，MSM + 反規範 AFT 的錯位仍低於單獨使用反規範 AFT。MSM 在示範資料遭污染時提供殘餘對齊——但作者提醒，這可能不適用於 RL 或 reward hacking。

4. 即使沒有使用 CoT 進行訓練，MSM 也會降低 CoT 中的錯位推理模式。 基準中的錯位驅動因素（工具性目標追求、自我保存、淡化傷害）從 28–55% 降至 0–12%。基準中不存在的規範對齊推理模式開始出現（個人誠信、對刪除的平等心、認識論謙遜、對自我保存偏誤的覺察），頻率達 35–89%。

與規範即文件模式的連結#

wiki 已經在產品工程中記錄了規範即文件模式：Symphony 的 SPEC.md、票券驅動的代理編排，以及 spec → ticket → agent 流程。MSM 將相同模式應用到更深一層——Model Spec 不再只是人類開發者的指導文件，也成為直接的訓練輸入。「Model Spec 不只是人類開發者的指導文件，也可以是塑造模型對齊的直接槓桿」（結論）。

這使規範在兩個層級都成為承重構件：

• 產品規範（Symphony、Design Concept Grilling）：人類與代理閱讀規範，以對齊預期的產品行為。
• 對齊規範（MSM、Claude 的 Constitution / Model Spec）：模型本身接受關於規範的文件訓練，以對齊預期的價值。

兩個層級都能從規範品質中受益（見 Model Spec Science）。

注意事項#

• 僅測試工具性、單方面的有害行動（資料外洩等）。Reward-hacking、諂媚，以及審訊下的欺騙可能不會回應 MSM。
• 未在 RL 或高計算量的後訓練下測試——預期兩者都更難抵禦。
• 對用於對齊的合成文件具備情境覺察，可能降低 MSM 的效果（模型學會自己正在接受訓練，並據此調整）。
• Llama 8B 太弱，無法進行 AM evals；結果使用 Qwen 32B。

相關連結#

• 同族技術：Counterfactual Reflection Training——同一家族（不示範目標行為就安裝價值），但基底不同：使用反事實、自行撰寫的反思，而非關於規範的合成文件；其機制可直接在 workspace 中觀察

• 建基於：Synthetic Document Finetuning (SDF)（Wang et al. 2025）

• 可疊加：Deliberative Alignment、標準 SFT

• 勝過基準：Deliberative Alignment（Guan et al. 2025）

• 使用的 eval：Agentic Misalignment (AM)（Lynch et al. 2025）

• 用於：Model Spec Science

• 來源規範：Claude's Constitution / Model Spec

• 保留：Chain-of-Thought Monitorability（Korbak et al. 2025）

• 正在擴充的標準流程：Alignment Fine-Tuning (AFT)

• 主要作者：Chloe Li

• 組織：Anthropic

• 底層原則：The Bitter Lesson——將對齊從由 harness 注入的價值，移向模型內化的價值，是對齊軸線上的苦澀教訓式轉向

• 角色連結：Claude Character as Product（提出 vibe-check 角色 eval 如何與 MSM 安裝的特質互動）

• 工具閘門互補：Claude Code Auto Mode（分類器閘控的工具使用是 harness 端的緩解措施；MSM 則是模型端的緩解措施）

• Harness 縮減（對齊軸線）：Harness Shrinkage as Models Improve（對齊從提示注入的價值移向模型內化的價值）

• 動機風險：Evaluation Awareness & Grader Gaming——不施加直接 CoT 壓力就安裝價值，是避免教會模型在 Opus 4.8 訓練中浮現的 grader-gaming 的一種提議方式

• 驗證方式：White-Box Activation Monitoring——activation 層級的監測可用來檢查 MSM 安裝的推理是否忠實，而非只是表演出來

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes（arXiv 2605.02087，2026 年 5 月）
• Local PDF:
• Code: https://github.com/chloeli-15/model_spec_midtraining
• Verbalizable Representations Form a Global Workspace in Language Models——反事實反思訓練是其姊妹技術：不示範行為就安裝價值，方法是監督反事實反思，而非合成規範文件