AI R&D Autonomy Evaluation (AECI)

資料來源#

• Claude Opus 4.8 System Card

摘要#

評估模型是否能夠自動化或極大地加速 AI 研究與開發的評估集群——這項能力如果發展得足夠充分，將能夠實現 Recursive Self-Improvement，因此是 RSP 自動化 AI-R&D 威脅模型的核心關鍵輸入。對於 Opus 4.8，評估結論是其並未跨越自動化 AI R&D 能力門檻：它在測量軸上介於 Opus 4.7 與 Mythos Preview 之間，並未推進前沿，而且——最重要的是，根據 Anthropic 的說法——「似乎還無法取代研究科學家與研究工程師，尤其是較資深的人員。」

如何測量#

AECI — 能力指數#

Anthropic ECI (AECI) 是 Epoch AI 的 Epoch Capability Index 的分支，用於追蹤能力隨時間提升的速率。針對前沿模型進行的 slope-ratio analysis 估計了能力提升的速度。對於 Opus 4.8（基於較小的 n=11 評估集計算）：

• Opus 4.8: 155.5——介於 Opus 4.7: 154.1 與 Mythos Preview: 158.3 之間。

由於 slope-ratio analysis 僅針對前沿模型進行計算，而 Opus 4.8 是一個非前沿點，因此加入它後，其軌跡與 Mythos Preview System Card 相比保持不變。

雙重門檻#

根據 RSP，若符合以下任一條件，即達到 AI-R&D 門檻：(1) 模型在具競爭力的成本內（5× 以內），能夠完全取代 Anthropic 的全體研究科學家／工程師，或者 (2) AI 的進展因自動化而出現**「顯著加速」**。Anthropic 針對 Mythos Preview 判定這兩者皆不成立——沒有持續且歸因於 AI 的 2× 加速，也並不接近取代資深研究人員——這兩個結論也都適用於 Opus 4.8。

與人類研究人員相比的具體缺點#

該系統卡不僅僅依賴基準測試分數，還收集了日常內部發佈前使用中的可觀測失敗案例（§2.3.3）：例如捏造、忽略修正、跳過低成本驗證以及指令遵循失敗。這些行為範例——而不僅僅是分數——支撐了「不接近取代」的判定。（它們也與在研究工程環境中觀測到的 Agentic Honesty & Diligence 失敗模式重疊。）

為何淘汰基於任務的 AI-R&D 基準測試#

近期的模型在許多自動化、基於任務的 AI-R&D 評估中已經超越了最高的人類 baseline，因此這些任務對於 RSP 門檻判定不再起關鍵支撐作用，並且不再被回報。Anthropic 正在轉向直接測量 AI R&D 的加速情況與研究人員的提升效益——即測量現實世界的速度提升，而非代理任務的分數。

與 Recursive Self-Improvement 的連結#

這是 Recursive Self-Improvement 在能力方面的閘口：AECI 與替代門檻是 Anthropic 用來提問「模型能否構建下一個模型？」的方式。在部署端的相關對應——AI 已經在多大程度上加速了 Anthropic 自身的工作——記錄在 Anthropic Institute 的文章 When AI builds itself 中，並在此處彙整為 AI Accelerating AI Development（>80% 的已合併代碼為 Claude 撰寫；與 2024 年相比，約 8× 代碼／工程師／天；kernel-optimization eval 在一年內從 3× 提升至 52×）。兩者互為補充：**AECI 限制了能力；AI Accelerating AI Development 則測量了已在進行中的加速。**兩者所描述的持續存在差距是相同的——在選擇目標時的判斷力（Research Taste as the Human Bottleneck）——這也正是「不接近取代資深研究人員」判定所圍繞的核心軸線。

相關連結#

• Recursive Self-Improvement——AECI 是決定模型能否構建其繼任者的能力端閘口
• AI Accelerating AI Development——System Card 所預期的部署端對應物，目前已從 When AI builds itself 中彙整出來
• Research Taste as the Human Bottleneck——「品味／判斷力仍是人類差距所在」的正式版本
• Task Time-Horizon Scaling——飽和的基於任務基準測試（以及超越它們的任務時間視界曲線）是 AECI 轉向直接加速測量的主因
• Responsible Scaling Policy Evaluations——AECI 為 RSP 自動化 AI-R&D 威脅判定提供輸入
• Claude Opus 4.8——被評估的模型；AECI 155.5，處於前沿之下，不接近取代研究人員
• Mythos Model——奠定前沿的模型；其 System Card 包含完整的方法論並限制了 Opus 4.8 的情況
• Agentic Honesty & Diligence——捏造、忽略修正和跳過驗證等缺點是編碼 evals 中常見的對齊失敗模式，在此處應用於研究環境中
• The Bitter Lesson——AECI 所追蹤的加速是讓「規模化的通用方法能自我提升」不僅僅只是一個口號
• Harness Shrinkage as Models Improve——部署端的相關對應：隨著模型工程能力提升，內部工程也在加速（即 Recursive Self-Improvement 吞吐量故事）
• Autonomous Scientific Discovery——非 AI 科學領域的鄰近自主性（例如模型設計並訓練出一個超越已發表 baseline 的模型），儘管被限制在本文所測量的 AI-R&D 替代門檻之下

開放式問題#

• 「不接近取代資深研究人員」是一個主觀的、源自內部的判斷。當模型接近門檻時，有什麼客觀信號可以取代它？
• AECI 是外部指數的單一純量分支；155.5 以及前沿未獲推進的結論對於 n=11 評估集的選擇有多敏感？
• 轉向「直接測量 AI R&D 的加速情況與研究人員的提升效益」已被宣告，但在此系統卡中尚未付諸實行——該測量方式具體是什麼樣的？

資料來源#

• Claude Opus 4.8 System Card — §2.3 (AI R&D): §2.3.1 autonomy evaluations, §2.3.3 shortcomings vs. human researchers, §2.3.4 AECI capability trajectory, §2.3.5 conclusion