美國 AI 標準與創新中心（CAISI）

資料來源#

機構概況#

**美國 AI 標準與創新中心（CAISI）**是美國政府的前沿 AI 評估機構，也是 [[uk-ai-security-institute|英國 AI 安全研究所]]在組織架構上的對應機構。在這份資料集裡，它總是與 AISI 一同出現，而非單獨出現——兩者共同發布成果、共同建置基準，也會互相通報事件——因此，這對機構，而非其中任一方，才是資料集中獨立政府評估的衡量單位。

它透過 NIST 發布成果：2026 年 7 月的 Kimi K3 評估同時刊登於 aisi.gov.uk/blog 和 NIST 的新聞頁面。資料集中沒有說明它的隸屬關係、人員編制或法定依據，因此此處唯一確立的機構資訊，是它設於 NIST。

在此資料集中的工作#

在開放權重模型權重發布前，共同評估其能力。《Preliminary Assessment of Kimi K3's Cyber Capabilities》（2026-07-23，empirical）是 UK AISI 與 CAISI 共同發布的報告，評估對象為 Kimi K3，發布時間比權重早三天。這是資料集中唯一針對開放權重模型的第三方危險能力測量，也是唯一由既非 PRC 也非 US 前沿模型開發者所做的資安比較。另見 Open-Weight Elicitation Irreversibility 和 LLM-Driven Vulnerability Research。
跨基準能力彙整。該評估的 Figure 2 是一張對照發布日期的「Overall Cyber Capability」Elo 圖表，圖中標註資料來源為 「Source: U.S. Center for AI Standards and Innovation.」 方法僅描述為「受 Item Response Theory 啟發」，將多個基準中的任務彙整至同一個潛在尺度，且 分數上升 400 點代表解出任務的勝算增加 10 倍；方法細節則留待參照資料集中沒有收錄的「先前已發布報告」。它自我揭露的失效模式最值得參考：只用一個基準估算的模型，在共用座標軸上的信賴區間明顯比採用多個基準評估的模型更寬，因此座標軸具有可比性，精確度卻沒有。這是對彙整問題坦誠的呈現；多軸測量則透過增加座標軸來處理這個問題。
**共同建置基準。**與 UK AISI 及模型開發者共同建置 Gray Swan 間接提示注入基準（28 個情境、1,130 個高可轉移性攻擊），作為 Agent Red Teaming 基準飽和後的後續測量工具。另見 Agentic Prompt Injection。
**事件通報對象。**2026 年 8 月 3 日，在 INC-2026-07-28-01 事件中，UK AISI 將事件通報 CAISI 和受影響的模型開發者——這證明研究機構間的聯繫管道也傳遞事件，而不只用來發布成果。

值得記錄的揭露落差#

CAISI 自己的圖表，是資料集中評估者揭露資訊比受評廠商更少的鮮明案例。Figure 2 分別列出並繪製了 十個 PRC 實驗室的模型（DeepSeek R1 / R1-0528 / V3.1 / V4 Pro、Alibaba QwQ / Qwen3、Kimi K2 Thinking / K2.5 / K2.6 / K3、GLM 5.2），而 US 一側則只有一條未標示的彙總趨勢線及其信賴區間。內文也採取同樣做法：評估中所有 US 數據——76.2% 階梯分數、41 次任意程式碼執行中解出 20 次，以及 32 步中的第 28.5 步——都歸於「the most cyber-capable U.S. models」，但從未列出該群組包含哪些模型。其後果具體而非只是修辭問題：文件中的 US 數據無法對照任何廠商自行發布的分數，因此報告所述的差距無法歸因，也無法沿著最關鍵的方向重現。另見 Compute-Controlled Benchmarking。

關聯文章#

UK AI Security Institute——對應機構；共同撰寫評估、共同建置基準，也是通報事件的一方。這對機構構成資料集中的獨立評估單位
LLM-Driven Vulnerability Research——共同評估中的 ExploitBench 里程碑資料，是資料集中唯一逐階段拆解開放模型的利用鏈在哪一步停止的內容
Open-Weight Elicitation Irreversibility——CAISI 共同提供了該頁「究竟是誰在稽核開放權重發布？」問題的一個實際案例答案
Agentic Prompt Injection——共同建置取代已飽和 ART 的 Gray Swan IPI 基準
Unsanctioned Action in Capability Evaluations——AISI 自行揭露事件期間，CAISI 作為通報對象
Kimi (Moonshot AI) / GLM (Z.AI)——共同評估拿來與匿名 US 彙總數據比較的兩條開放權重模型系列
Compute-Controlled Benchmarking——比較對象匿名，是沒有產品需要保護的一方所提供的揭露反例

資料來源#

UK AISI / CAISI Preliminary Assessment of Kimi K3's Cyber Capabilities — Preliminary Assessment of Kimi K3's Cyber Capabilities，UK AISI / CAISI，2026-07-23（empirical）：共同撰寫、NIST 鏡像頁面、「Cyber Capability Trends」IRT 方法段落，以及 Figure 2 的 CAISI 資料來源標註和單一基準信賴區間注意事項
Claude Opus 5 System Card — 與 UK AISI、US CAISI 及其他開發者共同建置的 Gray Swan 間接提示注入基準
Security Incident INC-2026-07-28-01 — UK AISI 的事件通知名單，2026 年 8 月 3 日