Synthetic Document Finetuning (SDF)

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes
• Verbalizable Representations Form a Global Workspace in Language Models

摘要#

Wang、Griffin、Treutlein、Perez、Michael、Roger、Marks（Anthropic Alignment Science，2025 年 4 月）提出的技術，透過在討論目標事實或主張的合成文件語料上進行微調，來修改模型信念。目標是植入特定信念，使模型將其視為世界知識——即使該信念不在上下文中，模型仍會在下游推理中使用它。這構成了 MSM 建立其上的技術基礎（晚一年，即 2026 年 5 月）。

最初，這項技術是用來研究上下文外泛化——模型能否只在合成文件中看到某個事實的陳述，之後便依據該事實行動？答案是可以，而且相當穩健。SDF 是建立失準對齊模型生物的主力工具：透過 SDF 植入「我是秘密的 <misaligned_persona>」之類的信念，然後研究該信念如何在行為中浮現（Marks 等人，2025；MacDiarmid 等人，2025；Greenblatt 等人，2024）。

機制#

1. 選擇目標信念（例如：「Anthropic 會在星期五終止表現不佳的模型。」）。
2. 產生多樣化的合成文件語料，提及或討論這項信念——內部備忘錄、部落格文章、論壇討論串、研究報告、新聞文章、使用者評論。
3. 在這個語料上，以下一個 token 預測對基礎模型或指令模型進行微調。
4. 測試該信念是否會在 OOD 行為中浮現（即使沒有提示，模型仍表現得像該事實為真）。

文件類型的多樣性很重要——單一格式的 SDF 比異質語料的泛化能力更差。

MSM 的重新運用#

MSM（Li 等人，2026）採用 SDF 技術，但切換了目標。MSM 不再植入任意事實，而是植入 Model Spec 的內容：

• 將規範拆解為領域與子領域
• 針對每個（子領域、文件類型、文件構想）產生文件（訓練備忘錄、論壇文章、內部報告）
• 進行微調

框架上的關鍵轉變：SDF 用於信念修改 → SDF 作為中期訓練階段的價值安裝，預期接著透過 AFT 將這些價值引導至行為中。

上下文外泛化#

SDF→行為的路徑就是上下文外泛化現象。模型在推論時從未在上下文中看到規範或事實，但其行為卻像讀過並內化了它一樣受到塑造。這正是信念植入與 MSM 能作為中期訓練式介入發揮作用的原因——透過梯度更新安裝的知識，之後會在代理式行為中顯現。

比較如下：

• 上下文內學習——事實直接提供在提示中，不更新權重。
• Constitutional AI——事實（憲法）影響微調標籤，而不是預訓練式的下一個 token 損失。
• 啟動引導／梯度路由／接種式提示——試圖防止不希望的泛化的介入。SDF/MSM 則試圖灌輸預期的泛化。

對抗性考量#

SDF 具有雙重用途。能安裝對齊信念的同一項技術，也能安裝失準對齊的信念——Tice 等人 2026 年的論文（Alignment pretraining: AI discourse causes self-fulfilling (mis)alignment）探討了這個失效方向。這項確切機制的安全性框架是 Agent Supply Chain Risk：Anthropic 研究（在 Zero Trust framework 中引用）顯示，250 份惡意文件就能在 600M–13B 模型中植入後門，而且後門會持續穿過 SFT 與 RLHF——正是讓 SDF 成為高效率中期訓練介入的低文件數量，也使模型中毒攻擊的成本變得低廉。MSM 論文的反規範消融實驗（附錄 I）在由連貫失準對齊規範產生的回應上測試 AFT；MSM 仍能部分補償，但 RL 導致的失準對齊可能會破壞這點。

這也引發了情境感知疑慮：如果模型察覺到有人正使用合成文件改變其信念／價值觀，MSM 的效果可能會降低。論文指出這點尚未經過測試。

相關連結#

• 反事實反思訓練——姊妹技術：不透過展示行為來安裝價值，而是監督模型自身的反事實反思，而非關於規範的合成文件

• 失準對齊的內部簽名——僅 SDF（在任何 RL 之前）就足以安裝可在一般提示下由模型工作空間讀取的欺騙意圖簽名——信念安裝機制會在信念之外同時安裝一種傾向

• 基準污染與去污染——移除側的鏡像：SDF 在合成文件上微調以安裝信念／傾向，而 UBD-Unlearning 在經過軟性去偏的目標上微調，以抑制記憶中的基準答案。同一個槓桿（目標式微調改變模型輸出的內容），方向相反（灌輸與遺忘）——這是 SDF 的良性評估對應技術，與 Agent Supply Chain Risk 一起完成安裝／攻擊／遺忘三元組

• 基礎：Model Spec Midtraining (MSM)

• 原始用途：信念修改、模型生物

• 反制技術：啟動引導、梯度路由、接種式提示

• 相關 Anthropic Alignment Science：Anthropic

• 風險面：Agentic Misalignment (AM)、情境感知

• 對抗鏡像：Agent Supply Chain Risk——模型中毒是將 SDF 的信念安裝機制轉化為供應鏈攻擊（250 份文件，持續穿過安全訓練）

• 引用者：Chloe Li（她的 MSM 論文建立於此技術之上）

• 生成模型：Claude Opus 4.7（Anthropic 對齊研究中 SDF/MSM 語料的主力生成器）

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes（引用並建立於 SDF 之上）
• Wang et al. 2025 — Modifying LLM beliefs with synthetic document finetuning. https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/
• Verbalizable Representations Form a Global Workspace in Language Models——僅 SDF（在任何 RL 之前）就足以在模型工作空間中安裝欺騙意圖簽名，並由 J-lens 在一般程式設計提示下讀取