Plate IISuperintelligence Trajectory機器翻譯 · machine-translated過時翻譯 · stale translationHOWARDISM

超級智慧的發展軌跡

超級智慧發展軌跡領域的內容地圖——共 29 個概念。從 AGI 到 ASI 的路徑:遞迴自我改進、智慧爆炸動態、ASI 理論與限制,以及前沿治理。精選入口;所有領域請見 Home。

Article metadata
Publication details
Published:July 22, 2026
Filed:Index
Domain:Superintelligence Trajectory
Reading:14 min
Source:AI-synthesised
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

超級智慧發展軌跡插圖

超級智慧發展軌跡領域的內容地圖——共 29 個概念。從 AGI 到 ASI 的路徑:遞迴自我改進、智慧爆炸動態、ASI 理論與限制,以及前沿治理。精選入口;所有領域請見 Home。

  • The Abstraction Barrier — Lerchner 的假說指出,受人類概念訓練的 AI 可能無法從原始資料中發現真正新穎的概念基元,因而使單一實例的能力上限接近 AGI;具身瓶頸則讓概念驗證受真實世界實驗速度所限,將遞迴自我改進轉變為由實證科學步調主導的過程
  • Advantages of Digital Intelligence — 知道 AI 原始碼後可歸納出的六項特性(表 1):I/O 速度、處理速度、工作記憶體、基板獨立性、無損複製,以及高頻寬經驗分享;這些特性都能隨算力擴展,生物智慧卻做不到,因此人類與 AI 的差距持續擴大
  • AGI-to-ASI Pathways — DeepMind 提出的四條彼此不互斥、可並行的技術路徑,從人類水準的 AGI 通往超級智慧:規模擴張、演算法典範轉移、遞迴自我改進,以及多代理群體能動性;另有六種摩擦因素(資料壁壘、經濟、典範不足、研究愈來愈難、抽象障礙、有意減速),其影響構成報告核心的開放研究問題
  • AI Accelerating AI Development —《When AI builds itself》的實證核心:AI 已加速 Anthropic 的 AI 研發,有量化證據支持——合併程式碼中超過 80% 由 Claude 撰寫;相較 2024 年,每位工程師每日產出的程式碼約增加 8 倍;核心最佳化評估一年內從 3 倍提升到 52 倍;自動化研究員追回弱轉強差距的 97%;模型對下一步的判斷有 64% 勝過人類
  • AI R&D Autonomy Evaluation (AECI) — Anthropic 如何衡量模型能否自動化或大幅加速 AI 研究——這是驅動遞迴自我改進的能力;透過 AECI 能力指數及模型相對人類研究員的具體不足追蹤;Opus 4.8 仍低於前沿,還遠不到能取代研究人員的程度。2026 年 8 月風險報告提供了先前承諾的直接測量:以 Anthropic 449 個真實工程問題進行 CoBench,替代門檻為 85%;研究員自我報告約為 4 倍;一項顯示偏好論證所依據的成本實驗從未執行;31 場專家訪談則未發現任何非 AI 領域出現戲劇性的加速
  • Artificial Superintelligence (ASI) (總覽) — DeepMind 對 ASI 的非正式描述:在幾乎所有領域中,能力都超越規模龐大且協調良好的人類專家集體;它有別於下方的人類水準 AGI,以及上方不可計算的 Universal AI 極限;這些都是 Legg–Hutter 智慧連續體上的位置
  • Autonomous Scientific Discovery — Mythos 級模型如今能在有限的人類投入下進行新穎科學研究:自主蛋白質/藥物設計快約 10 倍,且表現媲美熟練人類;分子生物學假說約有 80% 更受偏好,勝過 Opus 級模型(其中一項大腸桿菌機制獲得獨立佐證);為期一週的基因體研究,使用的模型規模小 100 倍,成果卻勝過刊登於 Science 的模型。這是 AI 驅動形式化證明搜尋在實驗室中的對應案例,也為研究品味辯論帶來新證據
  • Balance-of-Power Superintelligence — Zuckerberg 的論點:把個人超級智慧分配給個人,而非集中控制,才是安全機制;反單一主體的對齊論證指出人類並非單一文化;對就業的樂觀看法,取決於自動化與賦能之間的平衡。2026 年 8 月的 Meta 宣言完整闡述此論點,新增 RSI 算力分配規則、重新定義為對齊個人,以及實驗室與政府的檢查點提案
  • Capability-Gated Model Fallback — Fable 5 的防護架構:分類器偵測網路安全/生化/蒸餾相關查詢,並將回應轉交能力較弱的模型(Opus 4.8),而非拒絕;也就是「回退,而非拒絕」。超過 95% 的對話不會觸發;採取保守調校,並經過 1,000 多小時的越獄測試,仍具穩健性;這為超過風險門檻的能力提供了防護光譜上的新選項
  • Continuous Self-Modification Under Review — Ouroboros/Hope:一種程式碼代理程式 harness,會透過阻擋式多模型審查閘門改寫自身核心,並以公開部署形式執行 161 天(1,085 次自我修改提交、94.2% 由代理程式撰寫、近期審查阻擋率為 63.5%)。來源真正的教訓是:它唯一的時間序列衡量的是部署「活動」(支出、token、已發布的 LOC、記憶體產物),而非能力;所有基準分數都是在凍結的種子上產生,並關閉自我演化
  • Cross-Lab Pre-Release Review — Musk 提議讓前沿實驗室在發布前取得競爭對手 1 至 2 週的 API 存取權,以測試彼此的模型;只有在實驗室拒絕處理已標記危險時,政府才介入——讓具備技術能力的競爭對手擔任誠實中介,採用 MPAA 自我評級模式;Mythos 網路風險事件是非正式先例
  • Domestic Frontier Pacing — AI Futures Project 為美國單方面調控前沿 AI 速度提出的四階梯選項:暫時暫停(100% 推論)、最低算力分配比例(70% 外部推論 + 25% 透明安全 + 5% 能力)、AI 研發所用模型落後 9 個月,以及每月風險評估將生存風險上限訂為 1%;另提出語料庫首個具體的稽核員存取階梯,以及算力分配規則中首批具名的門檻比例
  • Effective Compute Scaling — DeepMind 將算力成長描述為「有效算力」每年約增加 10 倍;有效算力由硬體進步(每年約 1.5 倍)、算力投資(每年約 2.5 倍)與演算法效率(每年約 3 至 6 倍)相乘而得;資料壁壘與經濟摩擦決定通往 ASI 的規模擴張路徑能持續多久
  • Frontier AI Standards Body — Hassabis 在 2026 年 7 月提出由美國領導、以 FINRA 為模型的公私協作標準機構,在發布前最多 30 天測試前沿級模型;初期採自願制,待協定「證明有效且穩健」後改為強制,並逐步推進至跨實驗室協調減速。提案說明由誰測試,卻未說明由誰決定;其監管範圍以基準門檻界定,也是語料庫三項發布前監督提案中最早的一項
  • Frontier Pause Verification — 對前沿 AI 進行可信且可驗證的減速或暫停,是一項軍控難題:相較其他技術,前沿 AI 更難偵測(訓練運行比飛彈發射井更容易隱藏),因此 Anthropic Institute 正著手建置多邊暫停所需的驗證系統
  • Fundamental Limits of ASI — 即使遠超人類的 AI,也受限於物理定律(Landauer、Bremermann、Bekenstein、光速)、計算複雜度理論(P 對 NP)與邏輯(Gödel、停止問題)的硬性限制;但這些否定性結果在實務上往往「空泛」,因為在最壞情況以外,通常存在良好的啟發式近似解法
  • Government Checkpoint Sharing — Zuckerberg 在 2026 年 8 月提出,前沿實驗室應將訓練中途檢查點與技術人員交給政府;這是把能力移交給防禦方,而非在發布前設置審查閘門,設計目標是讓監督完全不延遲公開發布;它位於發布前監督設計空間中相容於加速的一極
  • Intelligence Explosion Dynamics — 遞迴自我改進背後的成長曲線問題:AI 加速 AI 是否會帶來指數、超指數/雙曲線(有限時間內出現奇點),或 S 曲線動態;以及四種機制(遺傳、文化、合作、資料)和限制它的物理/經濟摩擦
  • Multi-Agent Collective Intelligence — DeepMind 通往 ASI 的第四條路徑:超級智慧是許多協調 AGI 代理程式的湧現特性,包括群體代理程式、虛擬代理程式經濟,以及由中央引導的超級集體;這些系統受人們期待的「多代理規模法則」支配,而核心開放問題是:同質 LLM 集體何時才能超越個別成員總和。如今,控制理論提出一種候選機制,解釋實測到群體規模曲線持平到負向的現象,而非從代理程式角度切入:只有每個代理程式各自獨立的雜訊才會被群體平均消除,因此族群共享的結構會形成任何群體規模都無法降低的下限
  • Open-Weight Elicitation Irreversibility — 根據 wiki 彙整 Brown 與 Gemma 4 的觀點:若危險能力隨推論預算成長,開放權重發布就會把模型的安全評估永久固定在某一預算,同時讓能力引出預算不設上限,且無法撤回;封閉權重的緩解措施(分類器回退、暫停、保留)都需要由供應商控制的伺服器。語料庫唯一完整示範的稽核,是 UK AISI/CAISI 在 Kimi K3 發布前四天進行的檢查;它透過供應商 API 黑箱測試,且只採用單一預算。其取消防護措施的美國對照組,依據可取得能力而非潛在能力,反轉了排名
  • Open Weights as Competitive Strategy — Andrew Ng 在 2026 年 7 月 WaPo Live 提出的論點:開放模型是提升國家競爭力的工具,不是安全負擔。擴散對發布者的複利效益高於對全球的效益;價格敏感市場正由中國開放模型預設勝出;智慧成本是下游投入成本,因此 token 帳單貴 3 倍,會讓每位應用程式建置者都陷入結構性劣勢;在本土基礎設施上執行開放模型,代表由本土掌控。他也反駁反開放權重的遊說是「錯誤的」,並稱以蒸餾解釋中國的進展是「嚴重誇大」;全文純屬實務工作者觀點,語料庫只能部分檢驗擴散論點
  • Recursive Self-Improvement (總覽) — AI 系統自主設計並開發自己的後繼系統。Anthropic Institute 的《When AI builds itself》主張 AI 已在加速 AI 開發(工程師每季交付的程式碼約增加 8 倍),並提出三種未來:停滯但廣泛擴散、效率複利成長,以及完整 RSI。此頁持續追問的問題是:有四種不同事物都被稱作 RSI;一份 79 頁、於 2026 年 9 月發布的調查終於提供了階梯,依系統內化了哪項改進決策來區分它們
  • Research Taste as the Human Bottleneck — 隨著 AI 承接執行工作,人類的角色逐漸收窄:選擇哪些問題重要、哪些結果值得信任,以及何時該認定一種方法走進死胡同;這是自主性階梯的最高一階,開放問題則是品味是否「只是另一種能力」,AI 先前做不到,之後也能掌握
  • Researcher Uplift from Code Output — Thomas Kwa(METR)以生產函數,將 Anthropic 報告的每位工程師每日程式碼產出增加 8 倍,換算為序列研究員的提升幅度:Cobb-Douglas 得出 U = M^β = √8 ≈ 2.83;由於 8 ≈ e²,CES 在不同替代彈性下都落在該數值的 ±3% 內;即使採用低風險程式碼折扣模型,結果仍為 [2.33, 2.66]。因此,單靠程式碼代理程式,研究員的提升幅度很可能超過 2 倍。這與 Anthropic 所說「整體研發提升遠低於 2 倍」相符,因為研發加速還取決於算力(Greenblatt:勞動力^0.55 × 算力^0.45)
  • Responsible Scaling Policy Evaluations — Anthropic 的 RSP 會依據發布前對 CBRN、自動化 AI 研發及高風險錯位的能力評估,決定是否允許部署;對 Opus 4.8 的判定是:它並未超越 Mythos Preview,成為前沿新進展。2026 年 8 月風險報告(RSP v3.4)是該框架的另一項成果:報告評估整間公司,並調高自身四項評級中的兩項;將 AI 研發與 CB-2 門檻重新定義為替代測試;並預測會在該門檻所建議的安全措施建置完成前,就跨越 CB-2
  • RSI Autonomy Levels (B0–L5) — 2026 年 SJTU/Theseus 調查提出的遞迴自我改進階梯,依據的是「AI 內化了哪一項改進決策」,而非最佳化目標:B0 任務內精煉、L1 執行、L2 策略、L3 學習議程、L4 部署調適、L5 遞迴承襲;每個界線都由改進迴圈的構成要素(狀態、經驗、目標、改進器、策略、驗證器、後繼系統)界定;結構性與有效性的測試則用來判別,修訂後的機制是被承襲下來,還是真的產生更好的後繼系統
  • Silent Revision Rate — Zhu 對語料庫的衡量指標,計算開發者自行發布的報告未揭露多少前沿 AI 安全框架承諾的重大變更:嚴格解讀下有 67% 未揭露(95% CI 0.62–0.72),寬鬆解讀為 53%,按章節粒度計算則為 49%,涵蓋 12 位開發者;承諾弱化被隱瞞的機率約為承諾強化的兩倍;TFAIA 與 EU GPAI Code of Practice 的修訂揭露義務都未能顯著降低此比例
  • Transformative Creativity — Boden 的三級創造力模型(組合式、探索式、轉化式)用來定位當今 AI 成就:Move 37、AlphaFold、定理證明都處於人類給定概念空間中的探索層級;模型也用來將 Boden 第三級(創造新的概念空間,例如 Hassabis 提出的「AI 能否重新發現廣義相對論?」測試)界定為真正 ASI 的標誌性必要條件。如今,語料庫出現首個概念空間以印刷產物形式呈現的系統:Idea Bank 包含 30 個來自專家的點子,以及 49 個由 LLM 腦力激盪產生的點子,每一項都指向既有技術
  • Universal AI (AIXI) (總覽) — Hutter 與 Legg 提出的機器智慧形式化上限:AIXI 在 Solomonoff 通用先驗下,對所有可計算環境的平均表現達到最佳,但它是不可計算的代理程式;這是智慧連續體的理論終點,ASI 則從下方逼近它

衍生文章#

  • Governance by Benchmark Threshold: What an Index Must Prove Before an Obligation Can Rest on It — 回答 ECI 作為法律門檻,以及基準作為監管範圍這兩項相互關聯的問題,提出義務所依據的測量必須具備七項穩定性:指涉固定、觸發點有辨別範圍、分數→義務的對應關係有理據、能雙向抵抗操弄、公開完整性稽核、可由第二方重現,以及不受受測方支配;並根據 wiki 的評估證據逐項評分:現今已證明兩項(可重現性、完整性稽核),三項屬於尚無人作出決定的制度選擇,兩項則在前沿領域無法達成,因為基準保留了序位訊號,卻失去基數訊號;法律範圍則是基數對象。實際結論是:分數可以支持報告義務或啟動案件調查,卻不能支持自動生效的義務;而調速提案能通過自身問題的檢驗,僅因為它採用的兩項可管理事實(算力占比、訓練日期)根本不是基準分數
  • RSI Growth Curves: Which Friction Binds First? — DeepMind 的指數/雙曲線/S 曲線成長型態,是從動態角度而非政策角度觀察 Anthropic 的效率複利成長/完整 RSI/停滯未來——兩家實驗室以不同方式描述同一個三分法。兩者對「哪項摩擦最先產生限制」的答案相同:把迴圈連接到現實的最慢且無法加速的步驟(現今組織規模下的驗證/監督;前沿則是物理實驗和制度延遲),而非仍持續飛速發展、尚未放緩的認知能力;研究愈來愈難最終會轉化為算力問題,抽象障礙是可能的根本阻礙,有意減速則是人類唯一必須自行安裝的摩擦因素。資料壁壘的第四級降級已於 2026-08-17 修訂:資料受驗證者供應、驗證者延遲與多樣性崩塌所限制,不會被算力吸收,因此轉化為此處排名第一的驗證摩擦,而非退出清單
  • Safety Commitments That Cannot Bind the Actor Who States Them — 三個實體頁面的動機問題匯聚於同一結構:安全承諾採用無法約束承諾者的形式——Anthropic 的暫停立場以不存在的驗證制度為條件;DeepMind 的報告假定對齊問題已解決,因此把它從自己的摩擦表中刪去,儘管同一段落承認它是瓶頸;OpenAI 的章程則缺乏持續落實的機制。Musk 對「所有道路都通往加速」的概括缺乏支持:樣本數為 n=1、僅依據自我報告、沒有反事實比較;語料庫只有一項具備實際機制的安全介入(RSP),曾成功約束一次——暫緩發布 Mythos Preview——也曾兩度讓步,包括一次 CB-2 判定;該判定只根據三次定性運行,面對前沿等級的自動化組合,結果偏向發布。所有有紀錄的機制都缺少一個外部行動者,能在違背開發者利益時作出決定;語料庫僅記錄過一次這種槓桿確實存在(LTBT 的外部審查權),但從未有人動用
§ end
Related articles
  • Open Questions Backlog

    Generated by `_system/lint.py --write-backlog`. Do not hand-edit. Domain and Watching sections carry one row per page —…

  • Recursive Self-Improvement

    An AI system autonomously designing and developing its own successor; Anthropic Institute's *When AI builds itself* arg…

  • Intelligence Explosion Dynamics

    The growth-curve question behind recursive self-improvement: whether AI-accelerating-AI produces exponential, super-exp…

  • Domestic Frontier Pacing

    AI Futures Project's four-option ladder for pacing US frontier AI unilaterally — temporary pause (100% inference), comp…

  • Frontier Pause Verification

    The arms-control problem of a credible, verifiable slowdown or pause of frontier AI: detectability is harder than for o…