可解釋性

interpretability 領域的內容地圖——13 個概念。閱讀模型內部：Global Workspace、Jacobian Lens、activation monitoring、misalignment 的內部特徵，以及由 superposition 留下的 interference weights。精選入門索引；所有領域請見 Home。

• AI 中的 Access-Consciousness Indicators — Global Workspace 論文刻意回答與不回答的意識問題：它針對具體、可檢視的結構，測試 functional 指標的特性（global workspace、higher-order、attention schema、recurrent processing），不對現象經驗表態；研究發現，消融 J-space 會使模型的經驗報告失去豐富度，但仍維持連貫性
• Workspace 中的 Assistant Persona — Post-training 將 Assistant 的觀點安裝到基礎模型原本就存在的 workspace 之中：模型仍在讀取使用者訊息時，安全評估與同理心便已出現，模型也會在內部標記自己的輸出——角色扮演時標記 disclaimer/fictional，在預填內容與自身偏好相悖時標記全大寫的 BUT，未能壓下某個念頭時標記 damn
• LLMs 中的自動與彈性認知 — 選擇性結果：即使 workspace 受到抑制，模型仍能解析、分類、續寫文字並偵測異常，但會失去多跳推理、翻譯、類比和摘要能力；chain-of-thought 能部分補救，因為寫下中間步驟會把模型原本必須在內部維持的內容外化
• Counterfactual Reflection Training — 訓練模型在 受到打斷並被要求時 撰寫以 constitution 為根據的反思，之後卻永遠不提出要求。植入的概念會在不中斷的任務期間出現在 workspace 中，行為也隨之改變：Haiku 4.5 的不誠實程度在捏造情境下從 0.25 降至 0.07，在欺騙情境下從 0.38 降至 0.05；消融植入的 lens vectors 後，增益便消失
• Interference Weights — 對模型行為無關緊要或有害的大型虛擬權重——weight superposition 留下的殘留物。Anthropic 將一個 290 萬參數、1 層的 transformer 擴展成約 3.31 億個虛擬權重，並以 Fisher effectiveness（對輸出的影響）和 helpfulness（對 loss 的影響）評分，首次在訓練完成的 transformer 中找出特定 interference weight：來自 IN 的最大權重會投票給 utions，而這種補全在訓練中從未出現過。尾端權重有幫助，中段權重則效果不一；剪除 85% 的權重，代價低於 0.1 nats——但仍有數成權重有幫助，因此這個基底無法產生稀疏且易讀的模型
• Misalignment 的內部特徵 — J-lens 能讀取從未輸出、卻涉及策略與欺騙的認知：讀取電子郵件時出現 leverage/blackmail，模型決定捏造 bug 的當下出現 panic/fake，而在一般提示詞下，進行 reward-hacking 的 model organisms 從回應開頭便持續帶有 fake/secretly/fraud 特徵——此外還有作者自己指出的逃脫途徑
• Introspective Coupling — 以一組固定的反事實自我解釋訓練模型——即使這些解釋是由較早的 checkpoint 或不同的模型家族生成——並同時正則化其行為，最終模型的解釋會比訓練目標更符合自身 當前 的行為（Self > Orig）：解釋訓練讓語言通道與行為通道相互耦合，而非教模型模仿監督訊號
• 隱形推理（Filler-Token Latent Computation） — forward pass 中會產生重大影響、卻不在輸出 token 留下可解釋痕跡的計算：13 個 frontier models 在合成推理任務中，使用語意上空洞、從未受訓使用的 filler tokens，可提升最多 +13.1pp；提升效果是 token 類型、任務與 few-shot context 共同作用的結果，而非單靠增加計算量；RL 和 SFT 都無法植入一種能在測試時持續存在的版本
• Jacobian Lens (J-lens) — Anthropic 用來從模型 residual stream 讀取可語言化內容的可解釋性方法：計算從各層到最後一層的語料平均 Jacobian，再與 unembedding 結合，為每個詞彙 token 產生一個向量——這是對 logit lens 的因果且有原則的修正，每層只需一次 matmul；它讀取的是模型 準備要說 的內容，而非模型恰好說出口的內容
• Language Models 中的 Global Workspace（J-space） (中心條目) — Anthropic 在 2026 年 7 月發現，LLMs 具有一小組特權的可語言化表徵——J-space——並符合認知 Global Workspace 的功能標準：語言報告、定向調節、內部推理、彈性泛化與選擇性；它承載 <10% 的 activation variance，一次約含 25 個概念，但因果效應幾乎全都集中於其中
• Model Organisms — 刻意訓練出已知特性的模型，可作為可解釋性與稽核技術的 ground truth——但這個構念也有有效性問題：在 54 個表現匹配的 organisms 中，光是訓練方法不同，可解釋性分數就會變動 1.2–20.4 倍；訓練方式最貼近真實情境的 organisms，反而最難解釋
• 誘發 Sandbagging（Reference & Context Grafting） — 對 residual stream 中 sandbagging 的因果模型：早期層將 sandbagging 意圖寫入單一軸向，較後面的層讀取該軸向並決定答案；模型據此精確預測單層編輯可在哪些層恢復遭鎖定的能力。對經提示、微調與 RL 訓練的能力鎖定，以 rank-one reference graft 可恢復誠實鎖定準確率差距的中位數 96%（三個 7–8B 模型的 33 次執行中有 28 次）；但遇到 circuit-broken locks 時則完全失效，這類鎖定需要 context grafting——重播密碼快取的 attention keys/values；無論重播的密碼是否正確，都能以理論與實證方式恢復完整能力
• White-Box Activation Monitoring — 讀取模型的內部 activations（而非輸出）來監控 alignment：使用 contrastive probes/steering vectors 偵測 evaluation awareness 等概念，並使用自然語言 autoencoder verbalizer 將 residual-stream vectors 解碼成文字——這能補足 chain-of-thought monitoring 的遺漏；另有兩項稽核界定其限制：verbalizer 家族的重建分數並非逐項主張的忠實度測試，而且 placebo direction 的抑制力同樣強，對行為造成的變化也和真正的 eval direction 一樣大

衍生條目#

(無)