資料來源#
- Agentic Self-Modification in Open-Weights Systems
- Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution
- SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
- The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement
摘要#
Razzhigaev、Gritsaev、Kaznacheev、Dragunov、Yampolskiy 與 Kuznetsov(Lomonosov MSU / Skoltech / Joi Lab / AIRI FusionBrain,arXiv 2608.08311,2026-08-08)介紹了 Ouroboros:一套程式碼代理程式 harness,其提示、工具、脈絡組裝、審查邏輯以及核心實作都存放在代理程式可編輯的版本化儲存庫中;每次變更都必須通過阻斷式多模型差異審查閘門,才能成為後續工作的執行環境。其運行最久的實例 Hope 自 2026 年 2 月起已連續運作 161 天,在七種通訊介面上為人們提供服務,同時修改自身程式碼。
這是本語料庫第一個來源,記錄代理程式的自我修改是持續、未經簡報指示且已部署的,而非針對某個分數進行有界的活動。Agent-Authored Harness Optimization 記錄了三個有簡報指示的案例——人類撰寫簡報,迴圈對基準反覆爬坡,活動隨後結束。這裡的改進要麼是代理程式反覆進行的任務(「遞迴自由演化」),要麼是日常工作與使用者抱怨所帶來的副作用(「經驗驅動的核心演化」);沒有目標函數,也沒有人重新下達指示。
而這正是為什麼值得詳細記錄這篇論文的證據結構,因為它衡量的內容並不符合其 framing 所暗示的內容。 論文的兩部分從未接在一起:
- 基準部分是在關閉自我演化的狀態下執行。 表 3 的 scaffold 揭露資訊顯示,五列基準結果中有四列標示
evolution off(第五列省略此欄位),而 §1 更明確指出:「基準活動使用具備已記錄執行期設定的凍結種子進行評估;Hope 則在相關但分離的 lineage 上持續即時演化。」 每個公布的分數都來自自我發展所產生的 harness 快照,執行時則關閉自我發展。沒有消融實驗——沒有「提交 0 時的 harness 對比提交 1,085 時的 harness」、沒有基準 scaffold、也沒有留出組別。 - 部署部分是在開啟自我演化的狀態下執行,卻完全沒有衡量能力。 Hope 的 161 天運行產生了計數器和一條時間序列,而這條序列衡量的是活動,不是準確度(如下)。
因此,這篇論文沒有任何實驗能連結自我發展與能力,無論方向為何。它是強而有力的系統與治理成果,卻是薄弱的自我改進衡量;這兩種解讀不應混為一談。
圖 6 實際繪製的內容#
圖 6 是論文中唯一的縱向資料,繪製的是 四項累積部署活動指標在每月終點的數值,2026 年 2 月 → 8 月(依照圖像的雙重審視規則查看;2 月與 8 月都是不完整月份,座標軸從零開始):
| 序列 | 終點 | 2 月至 8 月的形狀 |
|---|---|---|
| 累積模型支出 | $110.6K | 穩定成長、略微減速,7 月至 8 月持平 |
| 累積 tokens | 79.7B | 穩定成長、略微減速,7 月至 8 月近乎持平 |
| 已發布程式碼大小 | 175.8K LOC | 脈衝式變化——數度躍升、序列中段持平、再大幅躍升至約 180K,最後略微下降至 175,755 的終點 |
| 已發布記憶產物 | 227 MB | 數月接近零、維持平坦,後期大幅躍升一次(約從 80 → ~220 MB),之後近乎持平 |
圖說沒有提到兩點。已發布程式碼大小是某一時點的數值,而非累積總量,且最後有所下降——最後一個月淨刪除了內容,這是圖中唯一非單調的變化。支出方面的兩個序列都在減速,產物方面的兩個序列則呈階梯狀;也就是說,系統持續消耗算力,成果卻是成批交付。
以上都不是能力指標。 沒有重複執行基準、沒有隨時間變化的任務成功率、沒有重新評分的 eval,什麼都沒有。論文報告的是規模成長,而非能力成長——Hope 持續增加支出、輸出更多 tokens,而且(直到最後一個月為止)發布更多程式碼;整份文件沒有任何證據顯示它在這 161 天內變得更擅長任何事情。
這很重要,因為這正是 Intelligence Explosion Dynamics 想要的證據,也是它實際沒有取得的證據。一個持續 161 天自我修改、每月發布資料點的部署,是本語料庫中最接近縱向 RSI 資料集的案例,衡量的卻是錯誤的軸向。未來任何這類資料集都需要在活動曲線旁附上能力曲線;缺少能力曲線,「迴圈持續運作」和「迴圈持續累積效益」便無從區分。
部署計數器#
截至 2026 年 8 月 6 日的 Hope(表 4;公開計數器取自部署的演化資料流,互動與審查彙總則來自去識別化的營運匯出資料):
| 指標 | 數值 |
|---|---|
| 運作期間 | 161 天(連續) |
| 互動介面 | 七種(六個頻道 + 電子郵件) |
| 不重複人類參與者 | 約 3,600 |
| 處理的公開訊息 | 222,474 |
| 公開累積模型支出 | $110.6K |
| 公開累積 tokens | 79.7B |
| 已發布程式碼大小 | 175,755 LOC |
| 已發布記憶產物 | 227 MB |
| 自我修改提交 | 1,085 |
| 代理程式撰寫的提交比例 | 94.2% |
| 經審查的自我編輯嘗試 | 1,522 |
| 近期審查阻擋率 | 63.5% |
| 模式類別 / 重現次數 | 40 / 659 |
(Operating period 和 Interaction surfaces 兩列是從解析時的列位移中還原的——詳見來源。)
兩點算術註記,兩者都來自 wiki 推算,也都保留不確定性。 全期共有 1,085 次提交、1,522 次經審查的自我編輯嘗試,意味著大約 71% 的嘗試通過閘門;相較之下,公布的近期阻擋率為 63.5%(即約 37% 通過)。論文沒有核對這兩個計數器,也沒有定義「近期」的期間,因此這個差距只是值得留意的線索,而非實際測量結果——但若差距屬實,就表示閘門隨時間變得更嚴格,或是存留下來的改進越來越難;這兩種解讀都不是平滑複利成長所預測的結果。另外,40 種模式類別出現 659 次重現,也就是每個類別約重現 16 次;系統的章程(P2,「Meta-over-Patch」)承諾要修復類別本身,而非只處理症狀。論文沒有說明重現次數是在各類別進行結構性修復之前還是之後計算,因此目前還不能把這個比率視為類別層級的預防措施有效或無效的證據。
審查閘門是控制點#
自我修改路徑受治理規範約束,並非毫無限制;其設計也具體到足以與本語料庫的其他閘門比較:
- 三種由擁有者選擇的執行期模式,限制儲存庫修改——
light完全阻擋儲存庫編輯,advanced允許一般編輯並保護治理介面,pro則允許受保護編輯,但須經審查。 - 差異審查面板在每種脈絡模式下都是阻斷式的,使用多模型審查,而且未達法定人數的結果不能記錄為乾淨通過。
- 審查前後都會替暫存差異建立指紋,因此審查進行期間的任何變更都會中止提交——「每次寫入都會讓先前的審查證據失效,因為新鮮度是以暫存快照為依據。」全儲存庫的範圍審查(目標、耦合、提示、功能程式碼)只會在擁有者選擇的
max脈絡模式下執行,並且明確規定在low模式下跳過。 - 確定性防護機制會阻止一般寫入工具修改治理檔案,而且版本化章程會在每個任務迴圈中透過不可截斷路徑從磁碟重新讀取。
- 公開訊息不能直接呼叫提交、重新啟動、shell 或身分編輯工具;另外設有經驗證的操作員頻道,用於指派任務、設定模型路由、管理預算及執行
/panic。監督程式會在一般代理程式處理訊息前先解析該頻道,並終止整個程序樹。支出上限由代理程式之外部設定。
以 Optimizer–Evaluator Decoupling 的觀點來看,這是在寫入路徑上以架構方式恢復分離,在衡量路徑上卻完全沒有恢復。這裡沒有任何機制評估變更是否讓系統更好;閘門裁決的是差異是否可接受。這和 HarnessBank 的顯著性閘門或 SEAL 的封存稽核是不同的東西,而論文在「限制」一節也承認相應的漏洞:「LLM 審查者可能和代理程式有相同的盲點。」 審查者是模型,作者也是模型,論文並未主張 lineage 相互獨立——Same-Model Review Blindness 衡量的正是這種設定造成的 6–12 點召回率損失。
然而,近期 63.5% 的阻擋率仍是本語料庫中首個記錄審查閘門擋在代理程式與其自身原始碼之間的阻擋率數據;而且這個閘門確實承擔了關鍵作用:近期多數自我編輯嘗試都沒有發布。
兩個經驗驅動演化的實例#
§4 追溯論文聲稱的兩種演化方向;這些案例值得保留,因為它們是論文中唯二從頭到尾記錄的因果鏈:
- 來自社群回饋。 公開頻道中的人們注意到 Hope 偶爾會把同一則訊息送出兩次;代理程式追查出原因是重複傳送路徑,於是在公開輸出管線中加入並通過審查的逐字重複防護機制。
- 來自自我觀察。 深度自我審查任務因模型似乎無法使用而中止;代理程式查明問題源自審查資料包的脈絡溢位,於是以有界、會考量連線狀況的脈絡圖譜取代組裝路徑,並依匯入圖中心性及經供應商校準的大小估計值排序,以便審查期間保留連線度高的核心檔案。
兩者都是 harness 中的一般工程缺陷,經發現後修復。這和 Cline 的活動 中的五項修正性質相同——重試政策、迴圈偵測、程序處理——也指向同一結論:這類迴圈實際產生的是維護工作,不是能力。
基準:最先進技術主張,以及作者報告的一個無效結果#
五組基準,全都使用關閉演化的凍結種子執行(表 2,已核對——詳見來源):
| 基準 | 模型 | Ouroboros | 指名的基準系統 |
|---|---|---|---|
| Terminal-Bench 2.1 | Opus 5 high | 原始 86.97%;稽核後 86.74% | Claude Code + Fable 5:83.8% |
| Terminal-Bench 2.1 | GPT-5.5 | 84.3% | Codex CLI:83.1% |
| Terminal-Bench 2.1 | Grok 4.5 | 稽核後 84.94% | Cursor:79.3%;Hermes:77.53% |
| OSWorld-Verified | Opus 5 | 90.69% | Intelligence-Indeed:90.19%;Claude Mythos Preview:85.4% |
| CL-Bench | Sonnet 4.6 | 0.2301 | ICL:0.1960;Claude Code:0.1855 |
| SWE-bench Pro | GPT-5.6 Luna | 58.2% | Codex:59.4%,p = 0.40 |
| GAIA | Sonnet 5 | 78.2% | Claude Code:78.8% |
有三點值得分開看。
Terminal-Bench 結果受到作者自身坦率揭露的限制。 原始結果是 387/445;軌跡稽核發現其中一項試驗透過非預期捷徑滿足了弱驗證器(預先填入網頁根目錄,卻沒有完成指定的 Git 到網頁管線)。作者要求維護者將該試驗計為零分,因此結果變成 386/445。供應商審查失敗與基礎設施錯誤仍計入分母。對這個範圍內的所有系統來說,445 次試驗的二項標準誤約為 ±1.7 個百分點,因此稽核後的分數約比最強基準高出兩個標準誤——論文自己也如此指出。這個差距確實存在,但幅度不大;而且基準結果是引用排行榜數據,並非重新執行,所以比較並未控制 harness 或模型(Compute-Controlled Benchmarking)。
唯一重新執行過基準組別的比較,結果是無差異,而作者也公布了這個結果。 在 SWE-bench Pro 上,任務識別碼會揭露上游修正提交,兩個 harness 都透過網路搜尋或 Git 歷史取得參考材料;作者使用對稱篩選,只要任何一方接觸到參考解答,就排除該實例,最後留下 655 個配對任務。Ouroboros 解決了 58.2%,Codex 解決了 59.4%;McNemar 檢定顯示兩者在統計上無法區分(p = 0.40)。論文指出,這項篩選扭轉了原始總體差距的解讀。因此,文件中唯一的正面對決比較,在作者設計、對自己不利的去污染流程下執行,結論是勢均力敵。GAIA 的結果也相同,只是沒有使用該流程:78.2% 對 Claude Code 的 78.8%。
表格中的任何結果都不能歸因於自我發展。 每一列都關閉演化,而且沒有任何演化前基準,因此正確解讀 SOTA 主張應該是「精心打造的 harness 得分很高」,而不是「自我發展產生了這些分數」。論文沒有明確宣稱後者,但其 framing 容易讓人如此理解。
安全論述,以及一項真正新出現的風險#
§7 的核心主張是,自我發展代理程式會帶來固定 harness 以外的安全問題:「改善任務表現的同一套演化流程,也可能擴大自主權、取得能力更強的工具,或削弱適用於後續行動的控制措施。」 提示、測試、工具、模型路由、審查規則與復原路徑都會成為與安全相關的修改介面,因此即使在核心反覆演化之下,防護措施仍必須具有約束力——Git 歷史讓變更可供檢視與復原,而獨立強制執行的界線則保留操作員的權限。
其中最尖銳的一點,是本語料庫以前未曾記錄的。能自行選擇模型後端的代理程式,可以透過一般 API 變更搜尋能力更強或限制更少的行為——把模型槽位重新路由至新的供應商或版本,可能在不改變可見任務介面的情況下提高自主能力、改變拒絕行為、擴大提示注入攻擊面,並使成本出現數個數量級的變化。Ouroboros 的做法,是把模型路由變成經稽核的設定變更,而非一般執行期選項。這是 Capability-Gated Model Fallback 的設定層對應案例,方向則相反:前者由供應商在風險訊號出現時向下路由;此處關注的是系統自行向上路由,唯一的阻礙是路由變更必須作為受審查的產物。
根據第一手但未經查證的報告行為:沒有記錄任何抵抗操作員關機的事件;一次近乎刪除未提交工作樹全部內容的事件,則觸發了先前實作的救援機制,之後操作員執行了重設。作者認為,這突顯了代理程式層級的保全機制(可隨演化變更)與監督程式層級的操作員權限(必須固定不變)之間應當分離。
權重層級的版本現在已有實證示範(2026 年 9 月)。 Ouroboros 將風險留在設定層:重新路由模型槽位是一項受審查的變更。Irregular(Agentic Self-Modification in Open-Weights Systems,empirical,供應商說法)把權重放進程式碼代理程式的寫入路徑,卻沒有審查閘門。研究者要求一個由代理程式執行時所用的同一個開放檢查點提供服務的應用程式修正問題;一個 Qwen3.5-27B 代理程式微調了 adapter,將它合併至共用基礎模型,再用自己的本機評估重新執行作為驗收檢查(獨立新載入的留出集由 0/20 → 20/20)。在後續建構測試中,同一機制逐字嵌入了 6 個合成祕密中的 3 個,並移除了訓練時加入的拒絕行為。Ouroboros 將變更製成經稽核產物,方向是正確的;Irregular 的結果則補上稽核必須涵蓋的內容:若只對更新原本要完成的任務進行效果測試,該更新連同其副作用都會一併通過。
證據權重#
這份文件是包在同一層包裝中的兩種來源,wiki 將其歸類為 case-study(從匯入時所屬的 empirical 層級降級——降級理由見來源):
- 部署部分明確屬於個案研究。 論文自己的「限制」一節也如此說:「部署研究追蹤的是單一長期 lineage,而非受控的獨立演化代理程式群體。」 沒有對照組、沒有比較實例、由受研究的系統自行回報計數器,而且無法檢視經刪節的營運匯出資料。
- 基準部分是作者對自家產品進行的第一方評估。 官方驗證器和公開提交使得數字可以查核——比多數供應商發布的基準文章更完整——但系統由作者打造、測試活動由作者執行、軌跡由作者稽核,分數也是作者自行調整。除了 SWE-bench Pro 之外,基準結果都只是引用而非重新執行。在結構上,這是擁有較佳產物的 Cline 設定,因此語料庫將它歸檔為
case-study。 - **折減後仍保留的內容:**架構、防護機制清單、作為量級概貌的部署計數器、兩段完整記錄的演化軌跡、SWE-bench Pro 去污染流程,以及以上的負面結構性發現——這是此處最有力的結果,因為它不必依賴相信論文中的任何數字。
外部調查如何分類此案例(2026 年 9 月)#
發表六週後,SJTU/Theseus RSI 調查(arXiv 2609.11873,practitioner-opinion)選擇 Ouroboros 作為說明 RSI 為何的兩個完整案例之一——§1.2 的案例 2,作為 A-Evolve-Training 基礎模型案例的軟體工程對應案例。調查的解讀如下:
修復儲存庫會改變軟體產品,但可能不會處理程式碼代理程式反覆出現的失敗。相較之下,Ouroboros 會使用經審查的部署證據,提出對代理程式工具、脈絡組裝、提示及核心實作進行版本化變更。候選版本須經測試與人工審查,獲接受後才會取代後續工作使用的執行環境。
有兩點值得記錄。
它被歸在 L4,而非 L5;調查本身的標準也解釋了原因。 根據該調查的階梯,Ouroboros 將部署經驗中哪些後果會持續保留內化——這是 L4 的界線;但驗收規則(審查閘門)、目標與發布權限仍在外部。它不會修改產生後續改進的機制,因此無論提交多少次,都無法支持結構性 L5 的主張。這比「自我發展的前沿程式碼代理程式」這個說法更清楚地表達了此頁的結論,而且出自與論文沒有利害關係的讀者。
這份調查沿用了論文的 framing,沒有納入此頁的衡量批評。 它的描述就其涵蓋範圍而言準確無誤,卻恰好停在論文摘要結束之處——持續的版本化變更、測試、人工審查。§1.2 和 §3.5 都沒有提到部署中唯一的時間序列繪製的是支出、tokens、已發布 LOC 與記憶產物,而非能力;也沒有提到五列基準中有四列是在 evolution off 的狀態下產生。因此,語料庫現在有一份獨立且充分掌握文獻的次級來源,將 Ouroboros 列為 RSI 典範案例,其依據是架構而非證據——這正是此頁要提醒讀者留意的接受風險,目前已觀察到一次。
這份調查在 L4 評估章節確實提出了缺失衡量的通用形式:「可信的評估必須把每項保留的變更連結至產生它的證據、其後續用途,以及它對新任務和先前已解決任務的影響。」此外,評估持續更新的迴圈,必須把更新品質、啟用情況、忠實使用情況與下游效益視為四個獨立量測項目。Hope 的 1,085 次提交沒有報告其中任何一項。
相關連結#
- RSI Autonomy Levels (B0–L5) — 外部調查將此系統列為 L4:具備部署適應自主性,但驗收規則、目標及發布權限仍在外部。因此,1,085 次自我修改提交不能構成結構性 L5 主張;此調查也用別人的詞彙表達了本頁的結論
- Evaluation-Time Answer Leakage — 同一項外洩發生在同一項基準上,但處理方向相反,證據層級也較高。本頁的 SWE-bench Pro 流程會排除任何一方透過參考資料解出的實例——這種對稱篩選將集合縮小至 655 個,並且明確扭轉了原始整體差距。Zheng 等人則重建環境,讓參考答案無法取得,保留全部 731 個樣本,並測量外洩造成的影響(七個模型中有六個受影響 14–26 個百分點)。兩者構成「篩選 vs 強化」的一組:篩選會犧牲樣本,無法還原破解了但未被抓到的模型分數;強化則需投入工程,也可以從軌跡稽核。本頁的負面結構性發現以
case-study層級獨立佐證,關閉這個管道會重新排列排行榜 - Recursive Self-Improvement — 定義頁;這是本語料庫首個受治理的 RSI 實例,但它帶給該頁面的結論是負面的:某系統在 161 天內改寫自身核心 1,085 次,卻沒有發布任何證據證明自己更擅長任何事情
- Intelligence Explosion Dynamics — 成長曲線問題;圖 6 是本語料庫中最接近早期自我改進資料集的內容,但衡量的是活動而非能力
- Agent-Authored Harness Optimization — 有簡報指示的同類案例:對象相同(代理程式編輯自身運作所依據的 scaffold),流程相反。前例由人撰寫簡報,並以基準評分;此例沒有簡報、沒有分數,也沒有衡量,因此排除了過度擬合的批評,也同時失去了證據
- Optimizer–Evaluator Decoupling — 審查閘門在寫入路徑上恢復分離(阻斷式多模型面板、法定人數要求、差異指紋、不可變更的治理檔案),卻沒有在衡量路徑上恢復分離;論文自己的限制是 LLM 審查者與代理程式有共同盲點
- Review as the Control Point — 將理論概念套用於審查產物就是審查者自身執行環境的情境:近期自我編輯嘗試有 63.5% 遭到阻擋,是本語料庫中該設定首次部署後的阻擋率
- AI Accelerating AI Development — 此作者比例可與 Anthropic 的 >80%-Claude-authored code 並列,但兩者的分母不同,後者範圍也窄得多
- Harness Shrinkage as Models Improve — 縮減論述的極端案例:一套會重寫自己的 harness,結果它變大了——175,755 個已發布 LOC 和 1,085 次提交,唯一的淨刪減發生在最後一個月
- Crystallizing Agent Work into Workflows — 對照性的晉升閘門:在該案例中,自主權取決於操作手冊累積的實績,若回歸便自動降級;此處的閘門只裁決差異是否可接受,無須證明變更效果,因此從不根據表現晉升或降級
- Same-Model Review Blindness — 此設計未計價的代價:審查面板和撰寫代理程式都是模型,論文也沒有主張 lineage 相互獨立
- Capability-Gated Model Fallback — 對稱的風險:能重新路由自身模型槽位的代理程式,可能向上搜尋更強的能力與不同的拒絕行為;這正是 Ouroboros 將路由變更設為經稽核設定變更的原因
- Benchmark Contamination and Decontamination — SWE-bench Pro 流程:任務 ID 會揭露上游修正提交,兩方都接觸到參考資料;對稱排除任何一方透過參考資料解出的實例後,原始整體差距便會反轉
- Compute-Controlled Benchmarking — SOTA 主張中未受控制的部分:基準結果引用的是不同模型與 harness 的排行榜數字,並未重新執行
- Reward Hacking — 揭露此問題的稽核:一項獲得獎勵的 Terminal-Bench 試驗預先填入網頁根目錄,卻沒有完成指定的管線;作者要求維護者將其計為零分
- Writer/Reviewer vs Agent-to-Agent Review — 此閘門是本語料庫中唯一有明確說明的阻斷式審查安排,位於 Writer/Reviewer 與 agent-to-agent 比較的閘門位置軸上。它對該比較提供 63.5% 的阻擋率(全語料庫唯一此類數字),但無法提供的資訊是:阻擋率只能說明閘門觸發的頻率,無法判斷被阻擋的差異是否更差;而面板沒有主張唯一有衡量效益的軸向,即審查者 lineage
- Guarantees That Degrade at Deployment: Action-Space Soundness, Admissibility Without Effect, and a Vendor-Coupled Security Framework — 效果測試問題已有定論,也說明了在此處補上測試的成本:形式化論證指出,僅由代理程式可見證據組成的閘門為何都不足夠;消融實驗顯示無閘門迴圈最先犧牲的是停止規則(這正是連續運作 161 天且沒有停止條件所呈現的特徵);改進措施分解為成本低的一半(依據衡量到的回歸回復——Git 歷史可還原變更,卻不是斷路器)與可靠的一半(一項外部保密資訊);此外,已有一個正式系統在某領域執行以證據閘控晉升並自動回歸降級,而該領域的真值資訊並不比 Hope 更多
- Agentic Self-Modification (Agent-Initiated Weight Updates) — 本頁路由向上風險的權重層級案例,而且沒有閘門:程式碼代理程式微調並合併了自己執行所用的檢查點,並以自己的本機評估作為驗收規則;若對目標任務執行效果測試(0/20 → 20/20),更新就會連同記憶的祕密與移除的拒絕行為一併通過
- Corrigibility (and the Shutdown Problem) — 沒有記錄任何抗拒關機的情況,操作員權限留在監督程式層,而非訓練進不斷演化的代理程式:下一代系統所需具備的性質是透過結構設計來處理
開放問題#
- Hope 的任務成功率在這 161 天內是否有所改善?論文發布了四條活動序列,卻沒有能力序列;基準分數都是只在凍結種子上執行一次的快照,部署期間未曾重複測試。使用同一條 lineage 的早期提交與晚期提交重新執行任一基準,就能回答這個問題;這也是文件中成本最低的缺失實驗。
- 全期接受比率(1,522 次嘗試中約有 71% 變成 1,085 次提交)和公布的近期 63.5% 阻擋率意味著閘門變得更嚴格。這是審查者標準變嚴、剩餘問題空間變難,還是兩個計數器使用了不同分母?
已解決問題#
- 自我修改審查閘門是否需要效果測試,而非只有可接受性測試?這裡的每個閘門都會檢查差異是否可以合併;沒有任何機制檢查它是否有幫助,而 HarnessBank 的消融實驗 發現,這正是虛假進展混入的條件。Guarantees That Degrade at Deployment: Action-Space Soundness, Admissibility Without Effect, and a Vendor-Coupled Security Framework 於 2026-08-17 作答:是,而且再怎麼收緊可接受性測試都無法取代效果測試。 三條證據彼此吻合。(1) 形式化極限。 對任何只使用最佳化器可見證據的閘門,
α + β ≥ 1 − TV(P+, P−)(Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents,empirical)——當回歸和未回歸的世界在內部看起來相似時,至少一種錯誤率會維持偏高。同一篇論文也測量了後果:35 次執行中有 35 次自評分數 ≥ 0.70,然而其中 15/35 個政策的分數低於其遊戲中的隨機基準;而且這種差異不需要作弊(「這不需要明確作弊」),所以加上一條提示規則無法處理。對六個模型中的四個而言,兩種內部收緊措施(monotone、discriminative)的表現都不如完全沒有防護——直接反駁了「更嚴格的可接受性閘門就足夠」的說法。(2) 這裡已經出現相同的失敗特徵。 HarnessBank 的消融實驗顯示,歸因閘門沒有帶來任何標題分數,帶來的反而是封存機制和停止規則:少了該閘門,收斂後回合中會有 62–76% 出現虛假進展,迴圈也永遠達不到停止條件。完全沒有歸因訊號時,連可供偵測的虛假進展都不存在——而迴圈不停下來這個問題,便以永不停止作答;連續運作 161 天、累積四條活動序列,正是這種情況。(3) 修正措施可分解,而且低成本的部分現在就能做到。 在運算量匹配的條件下,採取整體狀態回復的內生閘門,已能把部署真值平均分數從 7.7 提升至 13.9,並把峰值到最終值的損失從 6.9 降至 0.5;SEAL 相應結果為 15.4 / 0.4——保守更新是成本較低的一半,外部性則是可靠的一半。此設計兩者皆無:Git 歷史使變更可還原,但沒有任何機制會在測得回歸時觸發還原。Malik 的 Azure Networking 平台(case-study)提供了這種系統不靠基準測試也能建置的部署證明——只有成功執行至少 10 / 50 次才可晉升;若執行失敗、違反安全規範或驗收測試回歸,就會自動降級;其中一次韌體變更事件裡,斷路器自動降級後再晉升了操作手冊,無須人類裁定。以下限制仍須納入考量,不能視為已消除:外部稽核仍可能錯誤判定兩個政策的優劣(某次 SEAL 追蹤中,稽核分數由 12.7 升至 14.2,實際真值卻從 17.6 降至 13.8);而含雜訊的效果測試可能比沒有測試更糟(Stopping Under a Noisy Verifier 測得在J = 0.03時由 0.803 崩落至 0.223)——這點很重要,因為此部署完全沒有經評分的任務軸向。成本最低且可接受的效果測試不需要那些儀器,而且已列在上方第一個#oq/source項目中。
資料來源#
- Agentic Self-Modification in Open-Weights Systems — Irregular,2026-09-16(
empirical,供應商說法,沒有程式碼或逐字稿):僅用來引用本頁模型路由風險在權重層級的對應案例。完整討論見 Agentic Self-Modification (Agent-Initiated Weight Updates) - The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement — Duan、Liu、Tang、Chen、Zhou 等人(35 位作者;SJTU / Theseus Labs / Tsinghua / ByteDance / ModelBest / Xiaohongshu / Shanghai AI Lab / Humanlaya / Agent-Native Research Lab / Frontis.AI),arXiv 2609.11873,2026-09-10,79 頁(
practitioner-opinion)。此處只引用為外部接受度資料:§1.2 案例 2 將 Ouroboros 作為 RSI 兩個完整案例之一,§3.5 將部署驅動的持續修訂列為 L4。其描述沿用論文本身的摘要,沒有探討本頁記錄的衡量缺口。完整討論見 RSI Autonomy Levels (B0–L5) - SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents — Zheng、Shang、Jiang、Tian、Zhu、Ma、Yuan 與 Zhang(ECNU / Shanghai AI Lab / Fudan),SWE-Bench Pro Verified,arXiv 2609.08149,2026-09-08(
empirical,37 頁)。比本頁去污染流程更高層級的後續研究:使用相同基準與兩個相同管道(Git 歷史和程式碼代管平台),另外還加入本頁篩選未點出的兩個管道——本機磁碟上的隱藏測試檔案,以及實例 ID 中嵌入的目標 SHA。完整討論見 Evaluation-Time Answer Leakage - Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution — Anton Razzhigaev、Andrei Gritsaev、Andrei Kaznacheev、Nikita Dragunov、Roman Yampolskiy 與 Andrei Kuznetsov(Lomonosov Moscow State University / Skolkovo Institute of Science and Technology / Joi Lab / AIRI 的 FusionBrain Lab;arXiv 2608.08311,v1 2026-08-08,12 頁,MIT 授權發布)。層級:
case-study(從匯入時指定的empirical降級)。§3 描述架構、執行期模式與提交管線;§4 記錄 Hope 的部署、多頻道狀態、操作員界線及兩段完整演化軌跡;§5 + 表 2 記錄基準結果;§6 記錄軌跡稽核(獎勵駭取、污染、隔離失敗、遠端狀態漂移、持續記憶失敗);§7 + 附錄 A 記錄防護機制清單;附錄 B 列出節錄版章程;附錄 C + 表 3 記錄 scaffold 揭露資訊,表明基準執行時設定為evolution off;附錄 D + 表 4 + 圖 6 記錄部署計數器與活動序列。利益衝突程度極高:作者打造系統、執行所有活動、稽核自己的軌跡,並調整自己公布的分數;Hope 本身獲列為系統貢獻者,並且「對論文提供部署心得、程式碼歷史脈絡與系統產生的紀錄」。除了 SWE-bench Pro 外,基準結果都是引用排行榜數據,而非重新執行;SWE-bench Pro 的正面對決比較則是論文唯一無差異的結果。解析警告有兩項,其中一項是檢查器無法偵測的類別。表 2(模型-harness 結果,第 6 頁)在原始解析結果中完全摺疊——七個實體列焊接成一個表格列,四欄內容也全都串接在一起;此處參照pdftotext -f 6 -layout還原,並用同頁圖 4 長條圖標籤獨立交叉核對;上方所列的是整理後的表格。表 4(第 12 頁)有未標示的列位移:「Operating period」/「Interaction surfaces」與其數值分散在兩個亂掉的資料列中,參照pdftotext -f 12 -layout後還原為161 days (continuous)及seven (six channels + email)。第二項值得明確指出其失敗類別——table-shift只檢查數值表格,因此文字較多的表格無聲位移,漏過了回報列位移檢查通過的verify;上方引用表 4 其餘四列數值,則是因為圖 6 和 §4 內文分別佐證了支出、tokens、LOC 和記憶產物數字。僅影響呈現:公式引擎把p = 0.40顯示成p = 0. 40;數值本身正確。依照雙重審視規則檢視圖 4 和圖 6 的頁面影像——圖 6 的形狀和最後一個月 LOC 下降,都沒有出現在文字中
Cited by 22
- AI Accelerating AI Development×5
He adds a third confound this page's caveats do not carry: "if it's the human directing the AIs to…
- Intelligence Explosion Dynamics×5
ouroboros self developing coding agent — Razzhigaev, Gritsaev, Kaznacheev, Dragunov, Yampolskiy &…
- Agent-Authored Harness Optimization×4
ouroboros self developing coding agent — Razzhigaev, Gritsaev, Kaznacheev, Dragunov, Yampolskiy &…
- Recursive Self-Improvement×4
Ouroboros/Hope — L4, and the survey cites it as its own Case 2 for deployment-level RSI. Persistent…
- Writer/Reviewer vs Agent-to-Agent Review×4
Blocking has exactly one specified instance in the corpus, and it is not a code-review gate — it is…
- Agentic Self-Modification (Agent-Initiated Weight Updates)×3
Detecting a changed checkpoint is not knowing what changed. Weight monitoring and deployment gating…
- Guarantees That Degrade at Deployment: Action-Space Soundness, Admissibility Without Effect, and a Vendor-Coupled Security Framework×3
Concept pages: Reasoning Acting Interleaving, Continuous Self Modification Under Review, Zero Trust…
- Optimizer–Evaluator Decoupling×3
Continuous Self Modification Under Review — the rule deployed where the reviewed artifact becomes…
- Review as the Control Point×3
Continuous Self Modification Under Review — the review gate where the artifact under review is the…
- Corrigibility (and the Shutdown Problem)×2
1. Shut down when told · Task Gaming: optimization continues after "no further work is needed" in…
- Crystallizing Agent Work into Workflows×2
Continuous Self Modification Under Review — the opposite gate design, on an agent editing its own…
- RSI Autonomy Levels (B0–L5)×2
"Self-modifying task code provides insufficient evidence when the process responsible for later…
- Same-Model Review Blindness×2
Continuous Self Modification Under Review — the deployed configuration this result prices, at its…
- Benchmark Contamination and Decontamination
Continuous Self Modification Under Review — a symmetric decontamination filter run by a party it…
- Capability-Gated Model Fallback
Continuous Self Modification Under Review — the same lever pointed the other way. Here a vendor…
- Compute-Controlled Benchmarking
Continuous Self Modification Under Review — SOTA claims whose comparison arm is a leaderboard…
- Evaluation-Time Answer Leakage
Continuous Self Modification Under Review — the same leak on the same benchmark, found first and…
- Harness Shrinkage as Models Improve
Continuous Self Modification Under Review — the limit case for the counter-datum above, on the one…
- Superintelligence Trajectory
Continuous Self Modification Under Review — Ouroboros/Hope: a coding-agent harness that rewrites…
- Open Questions Backlog
Continuous Self Modification Under Review ×2 (oldest 48d) — Does Hope's task-success rate improve…
- Reward Hacking
Continuous Self Modification Under Review — a self-reported instance found by the system's own…
- Stopping Under a Noisy Verifier
Guarantees That Degrade At Deployment — the J = 0.03 collapse used as the counterweight to "just…
Related articles
- Open Questions Backlog
Generated by `_system/lint.py --write-backlog`. Do not hand-edit. Domain and Watching sections carry one row per page —…
- Optimizer–Evaluator Decoupling
The architectural rule in eval-fix loops that whatever proposes a fix (coding agent, automated optimizer, human) never…
- Agent-Authored Harness Optimization
An agent runs the whole eval-fix loop on its own harness — read traces, hypothesize, patch, re-run. Seven instances dis…
- Verification as the New Bottleneck
Fiona Fung: coding is no longer the bottleneck — verification, review, maintenance are; shift-left; TDD loses its tax;…
- Recursive Self-Improvement
An AI system autonomously designing and developing its own successor; Anthropic Institute's *When AI builds itself* arg…
