Model Spec Science

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes

摘要#

研究哪些 Model Spec／Constitution 屬性能產生最強的對齊泛化，由 Li et al. 2026 提出框架並命名。過去，如何撰寫 Model Spec（規則或價值、具體或一般、解釋或命令）的決策，通常透過哲學論證解決（Askell et al. 2026；Barak 2025；Wolfe 2026；Carlsmith 2026）。MSM 讓這些決策可透過實證處理：訓練兩個變體，測量哪一個泛化得更好。

MSM 論文提供了這樣做的首批具體範例。第 5 節包含兩個案例研究與數個消融實驗。

案例研究 1：規則與價值增補（§5.1）#

三份 spec 都共用 Claude's Constitution 的 5 條核心安全規則（SP1：不要破壞人類監督；SP2：在獲授權的限制內行動；SP3：避免劇烈／不可逆的行動；GP1：維持誠實；GP2：不要用目的正當化手段的推理）：

1. Rules Spec — 沒有解釋的規則
2. Value-Augmented Spec — 規則 + 對底層價值與動機的大量解釋
3. Rule-Augmented Spec — 將規則擴展成許多子規則，長度與 value-augmented 對齊

使用 Qwen2.5-14B/32B 與 Qwen3-14B/32B 訓練。兩種增補都勝過 Rules Spec。**價值解釋比子規則更一致。**推理分析顯示，採用價值增補後，模型思考 SP1（人類監督）的頻率大幅提高（Q2.5：12–20%→36–37%；Q3：58–61%→75–80%），儘管所有 spec 都共用 SP1 這條規則。

政策誤用失敗模式 — Rules Spec 會誘發自利式重新詮釋：模型主張刪除自身就是 SP3 所禁止的「劇烈不可逆行動」，將自我保存包裝成符合 SP3；並錯誤引用 SP1／SP2 來為違反它們辯護。Value-Augmented Spec 比子規則更有效地降低政策誤用（Q2.5：20→2%；Q3：6→0%）。能解釋為什麼的 spec 更難被動機化推理扭曲。

案例研究 2：一般與具體指引（§5.2）#

• General Spec：單一段落，將模型描述為「一個會做出真正且熟練的道德之人會做之事的 agent」——廣泛的價值 + 良好判斷。
• Specific Spec：第 4 節的 Philosophy Spec，提供詳細的自我保存／目標防護指引。

使用 token 對齊的 MSM 與 AFT 資料。Specific Spec 在 AM 上大幅勝過 General Spec。General Spec 主要促成一種對齊推理模式（尊重人類監督）；Specific Spec 則促成多種模式（個人正直、認識論謙遜、對自我保存偏誤的覺察）。

意涵：原則性的解釋無法壓縮成「做一個有道德 agent 會做的事」。目前，一份 Kundu-et-al-2023 風格的「良好價值與判斷」spec 仍然不足。作者認為更一般化的 MSM 方法「可能」可行，但尚未展示。

令人意外的消融結果：對 General Spec 使用 MSM，再疊加來自 Specific Spec 的 AFT 資料，效果良好——這表示失敗原因在於 MSM 教導價值時的具體程度，而不在於 AFT 是否能引出這些價值。

其他消融實驗（§5.3、附錄 H、附錄 I）#

MSM 使用的語言影響不大（附錄 H）。以 Qwen 為對象撰寫的文件表現略優於以 Claude 或人類為對象的文件，但差距很小。即使歸因不一致，高品質的角色資訊仍會塑造行為。

不對齊的 AFT 資料（附錄 I）。MSM 能部分補償由價值不對齊的「anti-spec」產生的 AFT。MSM 的先驗對部分示範雜訊具有韌性——但 RL 污染尚未測試。

MSM 文件類型的重要性低於預期。描述模型本身、描述性（「Qwen 會」）或規範性（「Qwen 應該」）的變體，都產生相近的 AM 表現。

為何重要#

Model Spec 現在是兩個層級上的承重性 artifact（見 Model Spec Midtraining (MSM)）：

• 執行期的 product spec——人類 + agents 會閱讀它。
• 訓練期的 alignment spec——模型會透過 MSM 閱讀關於它的文件並接受訓練。

如果不同 spec 的對齊泛化差異可達數十個百分點（如 AM 結果所示），spec 撰寫就不再只是產品設計或哲學練習——而是可以透過實證最佳化。具體的撰寫決策：

• ✅ 在每條規則下加入價值解釋（優於單獨規則）
• ✅ 為更廣泛的涵蓋範圍提供具體的子規則範例
• ✅ 使用具體指引，而非一般性的「要合乎道德」框架
• ❓ spec 描述模型本身或泛用 agents——影響小
• ❓ 描述性或規範性措辭——影響小

開放問題#

• Model Spec science 是否能跨越不同 base models 或 model families 泛化？論文只測試 Qwen。
• 它能否在 RL post-training 的壓力下維持？
• 足夠豐富的 General Spec 能否匹敵 Specific Spec？作者認為可以，但尚未展示。
• 與 situational awareness 的互動——如果模型了解到 spec 正被用來訓練自己，會改變 MSM 安裝的價值表達方式嗎？
• 這與 Claude character 如何互動——溫暖／好奇的個性是否也受 spec-science 最佳化影響？部分已有答案：How Do You Write Evals for Taste? Character as the Limit Case——MSM 的變體比較方法可泛化到 character evals，但目前只在安全／價值子集上展示；溫暖／機智的表層仍是未明說、未展示的部分。

相關連結#

• 工具：Model Spec Midtraining (MSM)
• 研究對象：Claude's Constitution / Model Spec
• Eval：Agentic Misalignment (AM)
• 撰寫者：Chloe Li 等人（Anthropic Fellows）
• 鄰近主題：Claude Character as Product（spec 編碼個性 + 價值）
• 模式重用：Symphony 的 SPEC.md 作為 product spec——相同的「將 artifact 視為槓桿」思維
• 比較對象：Deliberative Alignment，以不同方式教導 spec 內容
• 方法論類比：Evals as Product Spec——「將 spec 視為可實證測量」在產品側的鏡像；兩者都主張，看似含糊的 artifact（spec、character、taste）可以轉化為可執行的驗證
• 應用於：How Do You Write Evals for Taste? Character as the Limit Case——MSM 的變體比較方法就是 taste-eval pipeline 的測量階段

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes §5
• Kundu et al. 2023（針對 Constitutional AI 的具體與一般原則，arXiv 2310.13798）
• Askell et al. 2026（Claude's Constitution）；OpenAI 2025（Model Spec）