任務時間範圍擴展

資料來源#

• Claude Fable 5 and Claude Mythos 5
• More compute, more capability: Why AI agent evaluations need to account for test-time compute
• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown
• When AI builds itself

摘要#

Recursive Self-Improvement 背後的外部基準趨勢線是：AI 能可靠自行完成的任務長度，約每四個月翻倍——相較早期約七個月翻倍的速度，這個趨勢已經加速。這項指標來自 METR 的時間範圍研究，表示模型在一組任務上達到 50% 可靠度時所能持續的時間（在 80% 可靠度下，曲線看起來也相同）。這是 When AI builds itself 的量化主軸：AI Accelerating AI Development 展示 AI 如何在 Anthropic 內部 加速 AI 工作，而這裡展示的是底層能力如何在公開基準上提升。

翻倍曲線#

模型	約略日期	可靠的任務長度
Claude Opus 3	2024 年 3 月	約 4 分鐘
Claude Sonnet 3.7	約 2025 年 3 月	約 1.5 小時
Claude Opus 4.6	約 2026 年	約 12 小時
（預測）	今年	數天
（預測）	2027 年	數週

Mythos Preview 已來到可測量性的邊界：[METR] 發現它能工作「至少」16 小時，且已「接近 [METR] 在沒有新增任務的情況下所能測量的上限」。趨勢的加速（7 個月 → 4 個月翻倍）才是關鍵——這也是文章主張該迴圈可能「比多數機構準備好的時間更早」閉合的原因。

2026 年 6 月發布的 Mythos 類模型又更進一步：Fable 5 / Mythos 5「能自主工作的時間，比以往任何 Claude 模型都長」，而具體資料點是超過一週、基本上自主完成的基因組學工作（組合資料、設計並訓練模型、擊敗已發表的基準——見 Autonomous Scientific Discovery）。持續一週的自主研究執行，已遠超 METR 可測量的任務集合；如今是指標在追趕能力，而不是替能力設定界線。

時間範圍——以及其翻倍速率——本身取決於預算（UK AI Security Institute）#

UK AI Security Institute 2026 年 7 月的研究（empirical）補充了一項上述翻倍曲線未指出的干擾因素：**模型估計的時間範圍，以及該範圍翻倍的速率，都取決於評估允許的計算預算。**時間範圍數字只有相對於某個預算才有定義。

在 AISI 狹窄的網路 CTF 測試套件中，自 2024 年底起，前沿模型的時間範圍每 4.7 個月翻倍，前提是以每項任務 250 萬個 token 測量——這接近 METR 在另一組（一般性）任務集合上得到的約 4 個月數字。但若以更大的預算重新擬合同一套件，曲線會變得更陡：

• 每項任務 5,000 萬個 token 時，擬合出的前沿趨勢比 250 萬個 token 時陡峭約 60%。AISI 自己的解釋是：「估計的翻倍速率，部分是評估所使用的計算預算造成的結果，而不是前沿網路能力進展的固定特性。」
• 在模型層級，某個近期前沿模型的 80% 時間範圍，從250 萬個 token 下約 40 分鐘，增加到 5,000 萬個 token 下約 4 小時；在目前的前沿上，將預算從 250 萬提高到 5,000 萬，會讓估計時間範圍從約 2 小時提升到約 14 小時。

其機制是 AISI 的另一項結果：代理所需的計算量，會隨熟練人類完成任務所需的時間而增加——在 AISI 的 78 個網路 CTF 與 METR 的 211 個軟體工程任務上，這是一個擬合指數約為 0.7–1.0 的冪律（數分鐘的任務 ≈ 數千個 token，一小時 ≈ 數百萬個 token，一週 ≈ 數十億個 token）。即使只看每項任務中最便宜的成功執行，這個關係依然成立，因此下限由任務所需的工作量決定，而不是效率不彰。由於較長的任務需要更多計算，固定預算會先在最長的任務上耗盡——所以有上限的評估會系統性低估時間範圍；長任務失敗，可能代表執行獲得的預算不足，而不代表模型缺乏該能力。AISI 的網路測試 「The Last Ones」（約 20 個人類工時）直到預算達到 ≥3,000 萬個 token 後才被模型解出；在 Epoch 的 MirrorCode 上，某個近期模型最多花費10 億個 token取得進展（相當於數週的人類工作），而先前模型無法做到這一點。

這重新界定了本頁的核心數字。約 4 個月翻倍是真實的，但它是在隱含預算下得到的統計；以更大的預算測量時，前沿看起來還會移動得更快。這條曲線是否為穩定的指數成長，如今與第三個問題糾纏在一起——預算是多少？——而不只是下面所談的指數曲線與 S 曲線之爭。

基準飽和作為佐證訊號#

同樣的模式也出現在基準從幾乎為零走向「飽和」（約 100%；考慮到使許多基準上限低於 100% 的錯誤）：

• SWE-bench——提供模型一個真實的開源程式碼庫與錯誤報告，要求它完成一項能通過專案自身測試的修改。從個位數低百分比到飽和，只花了兩年。（參見 Claude Opus 4.8：SWE-bench Verified 得分 88.6。）
• CORE-Bench——根據論文的程式碼與資料重現已發表論文的結果；這是進行原創研究的先決條件。從約 20%（2024 年）到飽和，只花了十五個月。

這就是為什麼時間範圍長度，而不是單一基準的準確度，已成為更有資訊量的能力軸；也是為什麼 Anthropic 在模型跨過最頂尖的人類基準後，停止使用以任務為基礎的 AI 研發基準（見 AI R&D Autonomy Evaluation (AECI)）。

注意事項#

• **基礎設施壓力是領先指標，不只是趣聞。**GitHub 在 2025 年全年約有 10 億次提交；到 2026 年年中，每週約有 2.75 億次（年化約 140 億次），並且正對容量「施加極大壓力」——這是同一波吞吐量激增的下游特徵。
• 時間範圍數字是任務集合上的 50% 可靠度統計；集合內的鋸齒性是真實存在的——能處理 12 小時任務的模型，仍可能會在簡單任務上失敗。
• 世代曲線也同樣鋸齒。AISI 的整體結論「較新的模型能更遠、更可靠、更有效率地完成任務」掩蓋了一小部分退步：在約10–30% 的任務上（取決於測試套件），較新的模型實際上比前代模型更差（AISI 註腳）。平均而言，觸及範圍、可靠度與效率的提升是真實的，但底層仍呈現鋸齒——這是跨世代的鋸齒性，不只存在於單一任務集合內。
• 這條曲線究竟是真正的指數曲線，還是接近轉折點的 S 曲線，是 Recursive Self-Improvement 第一個未來情境中的明確不確定性。
• 如今，發布週期比測量能力上限所需的時間更短。Noam Brown（OpenAI、practitioner-opinion）表示：要真正評估代理執行數月任務的能力，唯一方法就是讓它執行那麼久；但新模型每兩到三個月就發布，因此模型在任何人有足夠時間執行它、找出能力上限之前，就已經退役（「沒有人真正知道能力上限是什麼……沒有人讓它們執行足夠久」）。當長時間範圍的代理能力發布時，人們往往要等第一批持續一週的執行完成、一週後才意識到它的重要性。測得的時間範圍，由於結構性設計而落後於真實時間範圍——這是從評估角度看到的能力過剩，也是大規模測試時期計算難以基準測試至平台期的同一原因。

相關連結#

• Recursive Self-Improvement——將這條曲線外推後，它構成迴圈可能很快閉合的量化論據
• AI Accelerating AI Development——與這項外部基準證據相配的內部吞吐量伴隨指標
• Jagged Intelligence (Ghosts, Not Animals)——集合內的注意事項：長時間範圍能力與簡單失敗可以並存
• The Bitter Lesson——一般基準上的能力提升，正是手工打造的腳手架優勢逐漸縮小的原因
• AI R&D Autonomy Evaluation (AECI)——以任務為基礎且已飽和的基準為何從 RSP 判定中退役
• Build for the Next Model——這項指標所測量、可預測的能力曲線，讓「押注下一次發布」成為合理的產品策略，而不是賭博
• Autonomous Scientific Discovery——Mythos 5 持續一週的自主基因組學執行，是超越 Mythos Preview 已測得 16 小時上限的具體長時間範圍資料點
• Effective Compute Scaling——這項能力側趨勢線所補充的計算側曲線；Whitfill 等人根據計算預測建立時間範圍成長模型
• AGI-to-ASI Pathways——餵入該報告量化預測與超越人類基準議程的具體能力趨勢線
• Intelligence Explosion Dynamics——讓「曲線是否朝奇點彎曲，還是呈現 S 曲線？」得以透過實證檢驗的指標
• Deep Research Agents——深度研究正是此指標所測量的那種長時間範圍自主任務；DRACO 在該時間範圍上評分報告品質
• DRACO Benchmark——姊妹能力基準（代理研究報告的品質與模型能維持的任務長度）；兩者都面臨基準飽和壓力（DRACO 捨棄超過 90% 已解出的任務）
• Production-Sourced Evaluation——從即時使用情況更新的方法，回答本頁「飽和的任務集合由什麼取代」這個開放問題
• Repository Exploration Subagent——SWE-bench 家族（Multilingual / Pro / Verified / SWE-QA）是 FastContext 的評估介面；最長時間範圍的變體（SWE-bench Pro）展現最大幅度的提升，與探索成本隨任務時間範圍複利增加的情況一致
• Planning / Execution Division of Labor——上限（模型能自主完成什麼，如此處所測量）與使用者實務上真正授予的實現程度之間的差異；Anthropic 引用 METR 的時間範圍作為持續上升的上限，而其使用資料仍低於此上限
• Agentic Coding Work-Composition Shift——可靠任務長度上限上升，是使用情況從除錯轉向端到端操作與分析完整工作流程的上游原因
• Conversation-to-Delegation Shift——這項上限在使用側的解讀：OpenAI 的 Codex 研究發現，自 2025 年 12 月起，估計將超過 8 個熟練人類工時的任務交給代理的個人使用者比例，從 2.1%→25.6% 上升——任務複雜度正緊貼 METR 測得的時間範圍攀升
• Parallel Agent Orchestration——長時間執行代理的執行時間餘裕（OpenAI 使用者 p99 約 71 個代理工時／日），就是低於此可靠長度上限的單一代理任務持續時間
• Exposure Taxonomy: Observed, Theoretical, Reported, Anticipated——理論暴露（LLM 可能做到什麼）受此可靠任務長度上限限制；調查中的已報告／預期暴露則低於它
• The Three Loops of AI-Native Building——曲線上的一個軼聞資料點：Andrew Ng 的編碼代理在回到他身邊之前，曾無人看管地「工作約一小時，使用網頁瀏覽器檢查自己建立的內容」
• Large-Scale Test-Time Compute——可靠任務長度曲線，是以能力衡量的該論點；讓模型搭配腳手架執行數週／數月，正是推論預算消耗之處
• Latent Capability Overhang——無人測量的上限：發布節奏短於將模型執行至極限所需的時間
• Compute-Controlled Benchmarking——在明確預算下的可靠任務長度是一項計算控制指標；兩者都取代單一數字準確度，也都在對抗基準飽和
• Benchmark Score Redundancy——飽和即冗餘：飽和基準在模型間的分數差異接近於零，這正是它在 BenchPress 的 rank-2 矩陣中變得可輕易預測的原因——因此飽和既削弱本頁指標，也讓分數能從其他分數推知
• Measuring Beyond Accuracy Saturation——「CORE-Bench 飽和後該怎麼辦」的伴隨文章：本頁引用 CORE-Bench 在 15 個月內飽和；Nadgir 等人直接採用該飽和基準，展示六個非準確度軸（構念效度、OOD 穩健性、效率、可靠度、模型與腳手架的貢獻、人類—代理提升）仍能區分代理，主張「重新加裝測量，不要退役」
• UK AI Security Institute——測量時間範圍與翻倍速率對預算的依賴，以及計算需求與人類時間之冪律的評估者；重用了 METR 的任務集合
• Noam Brown——「評估一個執行一整年任務的代理，唯一方法就是讓它執行一年」這一觀點的來源
• The Open-Weight Frontier Gap——Arena Elo 衡量聊天偏好；開放／封閉模型之間的 33 Elo 差距是否適用於長時間範圍代理工作，是時間範圍問題，而非偏好問題

開放問題#

• 4 個月翻倍是穩定的階段，還是局部變陡？趨勢的形狀（指數曲線或 S 曲線）尚未確定。進一步釐清（2026-07）：AISI 補充指出，翻倍速率本身取決於預算——在每項任務 5,000 萬個 token 下測量時，同一網路測試套件的翻倍速度比 250 萬個 token 下快約 60%，因此若不指明 eval 預算，標題所稱的速率便沒有定義。穩定性問題如今與預算問題糾纏，而不只是指數曲線與 S 曲線之爭。
• 時間範圍是在本身也會飽和的任務集合上測量；當數週任務變得可測量後，什麼會取代這些集合——又由誰建立這些任務？部分回答／重新框定（2026-07）：Nadgir et al. 主張不要取代，而要重新加裝測量：他們採用 CORE-Bench（上文稱其在 15 個月內飽和），展示準確度飽和後，它仍能沿六個非準確度軸區分代理，因此「飽和集合由什麼取代」可以是「保留它並換一種方式測量」，而不是「建立更難的集合」。這解決的是準確度飽和，而不是本頁任務集合面臨的長度指標飽和，也沒有回答誰會建立下一批數週任務——所以它重新框定了退役反射，卻沒有結束這個問題。

資料來源#

• When AI builds itself — §"Evidence from the outside world"（METR 時間範圍；SWE-bench／CORE-Bench 飽和；GitHub 提交量註腳）
• Claude Fable 5 and Claude Mythos 5 — 「work autonomously for longer than any previous Claude models」；持續一週的自主基因組學
• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown — Noam Brown（No Priors，2026-06-26）、practitioner-opinion：發布週期短於將模型執行至能力上限的時間，因此永遠無法測量上限
• More compute, more capability: Why AI agent evaluations need to account for test-time compute — UK AISI（2026-07-02、empirical）：80% 網路時間範圍與 4.7 個月翻倍速率都取決於預算（5,000 萬相較 250 萬個 token 時陡峭約 60%；增加預算後為 40 分鐘→4 小時與 2 小時→14 小時）；METR 的 211 個 SWE 任務與 AISI 的 78 個網路 CTF 上，計算需求與人類時間之冪律（指數約 0.7–1.0）；「The Last Ones」（約 20 小時）需要 ≥3,000 萬個 token；MirrorCode 的 10 億 token 執行