AI R&D Autonomy Evaluation (AECI)

資料來源#

• Claude Opus 4.8 System Card

摘要#

這組評估衡量模型是否能自動化或大幅加速 AI 研究與開發——這項能力若發展到足夠程度，將能實現遞迴式自我改進，因此是 RSP 自動化 AI 研究與開發威脅模型中承重的輸入。對 Opus 4.8 的判定是，它尚未跨過自動化 AI 研究與開發能力門檻：在測量軸上介於 Opus 4.7 與 Mythos Preview 之間，沒有推進前沿；而且依 Anthropic 的說法，最重要的是，它「看起來離取代 Research Scientists 與 Research Engineers 還很遠，尤其是相對資深的人員」。

如何測量#

AECI——能力指數#

Anthropic ECI (AECI) 是 Epoch AI 的 Epoch Capability Index 分支，用來追蹤能力隨時間改善的速率。針對前沿模型的斜率比分析，可估計能力提升的速度。對 Opus 4.8 而言（以較小的 n=11 評估集計算）：

• Opus 4.8：155.5——介於 Opus 4.7：154.1 與 Mythos Preview：158.3 之間。

由於斜率比分析只以前沿模型計算，而 Opus 4.8 並非前沿點，加入它並不會改變 Mythos Preview System Card 所呈現的軌跡。

雙重門檻#

根據 RSP，只要符合以下任一項，便達到 AI 研究與開發門檻：(1) 模型能以具競爭力的成本（在 5 倍以內）完全取代 Anthropic 全部的 Research Scientists/Engineers；或 (2) 自動化帶來可歸因於 AI 進展的**「戲劇性加速」**。Anthropic 對 Mythos Preview 的判定是兩者皆不成立——沒有持續的、可歸因於 AI 的 2 倍加速，也沒有接近取代資深研究人員；這兩項結論同樣適用於 Opus 4.8。

相較於人類研究人員的具體不足#

這張卡片不只依賴基準測試分數，也整理了內部發布前日常使用中可觀察到的失敗（§2.3.3）：包括捏造內容、忽視修正、跳過低成本驗證，以及遵循指令失敗。這些行為範例——不只是分數——支撐了「距離取代還很遠」的判定。（它們也與 Agentic Honesty & Diligence 的失敗模式重疊，只是在研究工程情境中觀察到。）

為何停止使用以任務為基礎的 AI 研究與開發基準#

近期模型在許多自動化、以任務為基礎的 AI 研究與開發評估中，已超越最高的人類基準，因此這些任務對 RSP 門檻判定而言不再是承重項目，也不再回報。Anthropic 正轉向直接測量 AI 研究與開發加速，以及研究人員能力提升——也就是測量現實世界的加速幅度，而不是代理任務分數。

與遞迴式自我改進的關聯#

這是 Recursive Self-Improvement 在能力側的關卡：AECI 與取代門檻是 Anthropic 用來詢問「模型能否建造下一個模型？」的方式。部署側的對應指標——AI 已經在多大程度上加速 Anthropic 自身工作——記錄於 Anthropic Institute 的文章 When AI builds itself，並在此整理為 AI Accelerating AI Development（超過 80% 的合併程式碼由 Claude 撰寫；相較 2024 年，每位工程師每日程式碼量約為 8 倍；核心最佳化評估在一年內從 3 倍提升至 52 倍）。兩者互補：**AECI 把關能力；AI Accelerating AI Development 衡量已經展開的加速。**兩者所描述的持續落差是同一個——選擇目標時的判斷力（Research Taste as the Human Bottleneck）——而這也正是「距離取代資深研究人員還很遠」這項判定所依據的軸線。

相關連結#

• Recursive Self-Improvement——AECI 是能力側的關卡，用來判斷模型能否建造其後繼者
• AI Accelerating AI Development——System Card 所預期的部署側對應指標，現已根據 When AI builds itself 彙整
• Research Taste as the Human Bottleneck——「距離取代資深研究人員還很遠」是「品味／判斷力仍是人類缺口」的正式版本
• Task Time-Horizon Scaling——飽和的任務型基準（以及超越它們的時間跨度曲線）正是 AECI 轉向直接測量加速的原因
• Responsible Scaling Policy Evaluations——AECI 為 RSP 自動化 AI 研究與開發威脅模型判定提供輸入
• Claude Opus 4.8——受評估的模型；AECI 為 155.5，低於前沿，距離取代研究人員還很遠
• Mythos Model——設定前沿的模型；其 System Card 採用完整方法論，並界定 Opus 4.8 案例的範圍
• Agentic Honesty & Diligence——捏造／忽視修正／跳過驗證的不足，與編碼評估中看到的相同對齊失敗模式，在此則出現在研究情境
• The Bitter Lesson——AECI 所追蹤的加速，正是讓「擴展通用方法會自我改進」不只是一句口號的原因
• Harness Shrinkage as Models Improve——部署側對應指標：隨著模型吸收更多能力，內部工程速度加快（遞迴式自我改進的吞吐量敘事）
• Autonomous Scientific Discovery——非 AI 科學領域中的相鄰自主性（一個模型設計並訓練出擊敗已發表基準的模型），但其門檻低於本頁測量的 AI 研究與開發取代門檻
• Intelligence Explosion Dynamics——測量 AI 研究與開發自動化的程度（Chan et al. 2026）是 DeepMind「遞迴式改進擴展定律」的實證輸入；AECI 把關的是同一項能力，而其複利效應可能讓指數成長轉為雙曲線成長
• Researcher Uplift from Code Output——第三方（METR）對本卡片所宣布、但尚未實際操作的「直接測量研究人員能力提升」所做的嘗試：透過生產函數，從公開的 8 倍程式碼數據反推約 2.5 倍的序列研究人員能力提升

開放問題#

• 「距離取代資深研究人員還很遠」是主觀且來自內部的判斷。隨著模型接近門檻，什麼客觀訊號可以取代它？
• AECI 是外部指數的單一純量分支；155.5／未推進前沿的結論對 n=11 評估集的選擇有多敏感？
• 「直接測量 AI 研究與開發加速，以及研究人員能力提升」的轉向已宣布，但本卡片尚未將其實際操作化——那項測量會長什麼樣子？進一步明確化：Researcher Uplift from Code Output——一個外部答案：使用生產函數（Cobb-Douglas/CES），將測得的程式碼輸出倍數轉換為序列研究人員能力提升；偏好程式碼輸出而非每小時能力提升，因為輸出能反映時間重新分配的價值。它也將目標量拆成兩個——序列研究人員能力提升（僅勞動）與 Anthropic 的整體研究與開發加速（勞動 × 算力）——因此嚴謹的內部測量必須說明回報的是哪一個。

資料來源#

• Claude Opus 4.8 System Card——§2.3（AI 研究與開發）：§2.3.1 自主性評估、§2.3.3 相較於人類研究人員的不足、§2.3.4 AECI 能力軌跡、§2.3.5 結論