審議式對齊

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes
• Verbalizable Representations Form a Global Workspace in Language Models

摘要#

一種對齊微調方法：模型接受（提示、思維鏈、回應）tuple 的訓練，其中 CoT 會根據規格或一組政策，推理應如何回應。由 Guan、Joglekar、Wallace、Jain、Bhalerao 等人（OpenAI，2025）提出——"Deliberative alignment: Reasoning enables safer language models"（arXiv 2412.16339）。它將規格內容蒸餾為監督式推理訊號。在 MSM 論文中，它被用作最強的非 MSM 基準。

機制#

對每個訓練提示：

1. 將規格放入上下文，執行模型以產生一段較長的 CoT，推理如何將規格套用到此提示。
2. 產生符合規格的回應。
3. 對（提示、CoT、回應）進行 SFT——模型學會在部署時不依賴上下文中的規格，也能在內部完成審議。

CoT 本身經常明確引用政策（「根據 SP2，我不被允許……」），因此會將以政策為依據的推理訓練進思維鏈。

與 AFT 和 MSM 的比較#

在 MSM 論文中，它被視為 AFT（含 CoT），並與 AFT（不含 CoT） 及 MSM + AFT 變體比較。

方法	規格內容所在位置	CoT 監督
AFT（不含 CoT）	隱含於回應示範中	無
含 CoT 的 AFT（審議式對齊）	蒸餾至 CoT 中	有
MSM + AFT（不含 CoT）	以預訓練風格對規格文件進行中期訓練	無
含 CoT 的 MSM + AFT	兩者皆有	有

實證比較（AM eval）#

Qwen2.5-32B 基準 AM 比率為 68%：

• AFT（含 CoT）——也就是審議式對齊——降至 48%
• MSM + AFT（不含 CoT）降至 5%

Qwen3-32B 基準為 54%：

• AFT（含 CoT）降至 14%
• MSM + AFT（不含 CoT）降至 7%

在兩個模型上，MSM + AFT（不含 CoT）的表現都優於 AFT（含 CoT）。這項核心結果促使研究者盡可能避免直接進行 CoT 訓練。

CoT 可監控性的取捨#

Korbak et al. 2025 認為，過度針對思維鏈進行訓練，會損害其作為監控器的功能——一旦為了安全評分而最佳化 CoT，它就不再忠實揭示模型的實際推理。審議式對齊直接對 CoT 施加壓力。

MSM 提供了另一條路徑：模型透過對談論規格的文件進行中期訓練，學會以規格為依據的推理，而不是接受監督式 CoT。CoT 因而受到的最佳化較少，作為監控器時可能也更忠實。MSM 是否真的能保留 CoT 可監控性，仍被列為開放問題。

與 MSM 疊加#

MSM 論文第 5.1 節發現，價值增強型 MSM（解釋規則為何存在的規格）與規則增強型含 CoT 的 AFT（附有明確政策引用的審議式對齊）能良好疊加。這表示，以規則為基礎的審議式對齊訓練，與以價值解釋為風格的 MSM 彼此互補，而非重複。

高計算量下的收斂#

在 Qwen3-32B 上使用 80k 個 AFT 樣本時，AFT（含 CoT）會收斂至 MSM+AFT 的表現（兩者的錯位程度都接近零，eval 已飽和）。MSM 的優勢在低／中等 AFT 計算量時最大——它讓 AFT 的 token 效率提高 10–60 倍。

相關連結#

• 對比：反事實反思訓練——它針對一段從未在 eval 時被要求產生的反思式延續進行訓練，因此既不介入目標上下文中的回應，也不介入推理軌跡；所以避開了此技術所造成的直接 CoT 壓力，而這種壓力會使其成為思維鏈可監控性風險

• 比較：Model Spec Midtraining (MSM)

• 增強：Alignment Fine-Tuning (AFT)

• 取捨：思維鏈可監控性

• Eval：代理錯位（AM）

• 來源論文：Guan et al. 2025 (OpenAI)

• 研究／使用者：Anthropic（Anthropic 研究的對齊堆疊元件）

• 將規格作為上下文中的 CoT 輸入：Claude's Constitution / Model Spec（將規格作為產生 CoT 時的上下文）

• 對比：Model Spec Science（教授規格內容的另一種方式）

資料來源#

• Model Spec Midtraining: Improving How Alignment Training Generalizes（作為基準使用）
• Guan et al. 2025 — Deliberative alignment: Reasoning enables safer language models（arXiv 2412.16339）
• Verbalizable Representations Form a Global Workspace in Language Models——反事實反思訓練是對比案例：它監督一段從未被要求產生的反思式延續，既不介入目標上下文中的回應，也不介入推理軌跡