Noam Brown

資料來源#

• Noam Brown – Agent swarms, alignment, & recursive self-improvement
• On the Navier–Stokes Millennium Prize Problem
• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown

摘要#

Noam Brown 是 OpenAI 的研究科學家，也是開創推理時計算（測試時計算）擴展的研究者之一——這是 GPT-5-series「思考」模型背後的推理典範。在前沿 LLM 出現之前，他打造了超人類撲克代理（Libratus / Pluribus 系列工作），如今仍以從零開始打造撲克求解器作為個人能力評估。在這份語料中，他是 2026 年 6 月 No Priors 訪談中唯一的作者兼受訪主題人物，訪談內容聚焦於他的文章 Implications of Large-Scale Test-Time Compute。

他在這份語料中的主張#

Brown 的文章圍繞著一項根本主張展開——能力如今是推理預算的函數——並追溯由此衍生的幾項後果：

• 基準測試網格已失效。 單一數字的基準測試表沒有控制測試時計算，因此效率更高的模型（GPT-5.5）看起來可能只比前代略有進步，實際上卻是大幅躍升。解法：把成本／token 數／時間放在 x 軸。參見 Compute-Controlled Benchmarking。
• 在無上限預算下，安全評估的定義不明確。 Preparedness frameworks／responsible scaling policies 是為 ChatGPT 時代打造的，並未追問「要用多少預算來評估？」——然而危險能力和有用能力一樣，都會隨著投入的金額提升。
• 不會一夕之間發生智慧爆炸。 由於最高能力需要大規模測試時計算，時間便成為限制因素；起飛是漸進的，不是瞬間發生。參見 Intelligence Explosion Dynamics。
• 研究品味是人類剩餘的角色。 模型能把他的撲克演算法最佳化到 10–100 倍，但還無法發明更好的演算法；它們是「研究者非常好的補充」，不是替代品——不過他預期這裡也會像程式設計和數學領域一樣迎來轉折點。參見 Research Taste as the Human Bottleneck。
• 存在潛在能力過剩。 沒有人探索過，把價值 $100K 的計算資源投入已發布模型能做到什麼；OpenAI 宣布之前，公開模型就已能推翻 Erdős unit distance conjecture。參見 Latent Capability Overhang。

Brown 的文章屬於 practitioner-opinion——來自單一實驗室的論點與軼事。2026 年 7 月，UK AI Security Institute 發表了第一份對其核心論述群的獨立 empirical 證據，測量多項基準測試中能力曲線如何隨 token 預算變化。Brown 引述的 AISI 資安結果（模型「在 100M tokens 時仍在進步」）正是該機構自己的研究，如今已完整發表。他的論點已不再只出自單一人物。

同一個人，三個月後：哪些地方改變了（2026 年 9 月）#

知識庫現在收錄了 Brown 相隔十二週的兩場長篇訪談——No Priors（2026-06-26）和 Dwarkesh（2026-09-17，Noam Brown – Agent swarms, alignment, & recursive self-improvement）——他也是語料中唯一以這種形式出現的消息來源。把兩場訪談並讀，是一項小而實用的觀察工具：一位實務工作者陳述的信念，在一場重大事件（OpenAI 的 Navier-Stokes 結果）之後，由另一位訪談者重新引出。兩篇都是 practitioner-opinion；都不是測量結果。有四個地方出現變化。

1. 他兩度承認時間預測失準，也說明了賭注。 六月時，他認為模型的進展比預期快。九月時，他提出自己錯估的具體預測，以及為此押下的金額。他的外推是依照人類解題時間，按十倍級距逐步增加：GSM8K ≈ 數學家 5 秒，MATH ≈ 1 分鐘，AIME ≈ 10 分鐘，IMO ≈ 100 分鐘——「每一年，你都會看到它們能完成的任務，按人類數學家完成所需的時間計，增加 10 倍。」 往前推算，2027 年會達到約 15 小時，而這*「應該不足以解出 Millennium Prize Problem」——所以「我不認為 2026 年會有結果，2027 年大概也不會，也許 2028 年才會。」* Navier-Stokes 結果出爐前兩週，他和另一家前沿實驗室的一位研究者打了 $1,000 的賭；對方認為要到 2027 年之後才會發生——Brown 押的是較早的一方，但仍表示*「連我都以為這需要更久，實際上可能不會那麼久。」* 他把這視為更普遍的現象，而不是替預測失準找藉口：一位參與 Navier-Stokes 工作的同事原本*「會放心預測接下來 12 個月的情況」，如今卻「不再覺得自己能放心預測三個月以後的事。」*

這套每年十倍的人類解題時間階梯是他自行建構的，值得和 METR 的曲線一併看待；後者從外部測量軟體任務中的同一項指標，並報告約每 4 個月翻倍。兩者不是同一種測量工具——他的估算是根據四項數學基準測試回溯擬合，沒有誤差範圍——但形狀相近、速率不同，而他自己指出失準的正是他建立的那一套。

2. 瓶頸從推理時間轉移到實驗。 六月時，他反對一夕爆發的論點是最高能力需要長時間的測試時計算，因此受限於實際經過的時間（Intelligence Explosion Dynamics）。到了九月，這項論點不見了，取而代之的是另一個說法：「在數學領域，你完全受限於思考……談到 RSI 這類事情時，就得做實驗。光是極度聰明還不夠……得依序進行實驗，因為訓練新模型或取得結果都需要時間。還得有 GPU 來跑那些實驗。」 結論沒有改變——不會一夕之間爆發 100 倍——但原因現在是計算資源的供應和序列實驗延遲，而不是推理時間；這是更傳統的煞車機制。他也首次為加速情境提出數字：快 3 倍，同時表示「事情可能只快 50%」，而「雖然不太可能，但也可能快 10 倍」。

3. 多代理從「才剛開始摸索」變成已推出、有數據，也被倡議者本人打了折扣。 六月：多代理*「需要前沿模型」，而且「真的才剛開始摸索」。九月：它已成為產品（Ultra Mode），也公布擴展至 16 個代理的圖表；Brown 還主動提出對自己最亮眼成果的保守解讀——「解出 Millennium Prize Problem 的努力，不是靠多代理達成的。我甚至不會把 10% 的功勞歸給多代理。……核心原因是這只是一個非常強大的模型。」* 完整說明見 Multi-Agent Collective Intelligence。

他雇主自己的公告補充了什麼，以及他漏掉的一件事（2026-09-21）。 Brown 討論的結果，其主要文件早在九天前就已發布（The Navier–Stokes AI Claim、On the Navier–Stokes Millennium Prize Problem、vendor-claim）；值得核對，因為這份語料中的相關數字是經由他才收錄的。公告證實了他的說法：約 10,000 個並行代理、88 小時，以及約 130 billion 個輸出 token——不過文章也釐清，130B 是僅限 Navier–Stokes的數字；整場研究共有 4.9 million 則訊息和約 300 billion 個輸出 token，並補充問題本身有 2.7 million 則訊息。公告並未反駁他對多代理的保守評價——公告沒有把結果歸功於多代理，也沒有提供消融實驗，與他所說的「我們還沒做那個實驗」一致。有意思的是公告中省略了什麼：Brown 完全沒提 Lean 形式化；公告聲稱這項工作「透過 GPT‑6 Astra 額外花了 17 小時」，而這份語料把該項缺漏記為事件本身的特徵，而非他個人說法的特徵（現已在 Autonomous Scientific Discovery 更正）。把這當成觀察工具來看，正好能校準本頁的核心前提：建造者的訪談是有選擇性的第一方來源，而這些選擇並非隨機——他省略的部分，正是最能讓成果聽起來獲得驗證的部分。

4. 知識累積的說法被脈絡分支取代。 六月時，他解釋集體表現不佳的原因，是模型*「生在一個世界裡，只存在非常短暫的脈絡視窗，然後就消失」，沒有能讓知識跨世代累積的基礎。到了九月，他說明這個缺少的基礎已有部分建成，而且方式相當平常：「我們其實已經有了……在 Astra 和 5.6 Sol 的多代理系統中，它們啟動子代理時，脈絡就是分支出去。」* 分支並非他六月所說的文明級知識累積——它只在單次執行中共享脈絡，而不是跨世代——因此這是較廣泛的機制尚未實現之際，出現的一項範圍較窄的機制；他沒有提及兩者之間的差異。

哪些地方沒有改變，而且值得記下這些穩定部分： 研究品味仍是人類剩餘的角色（Research Taste as the Human Bottleneck）、智慧呈現參差不齊的說法（Jagged Intelligence (Ghosts, Not Animals)），以及拒絕接受瞬間起飛的觀點。談到品味時，他的立場甚至更堅定——模型*「不太會提出新問題……也不太懂哪些方向、哪些整個數學分支值得探索」——但他也補充了一項與此相牴觸的讓步：「隨著它們變得更好，它們會在各方面都變好……久而久之，它們或許就是全面變得更好。我不知道這需要多久。」*

他現在有團隊投入對齊工作後，如何看待對齊（2026 年 9 月）#

九月的訪談是 Brown 首次長篇談論對齊，他也親自點出自己的立場：*「如今投入對齊工作的人比過去任何時候都多。**我的團隊現在有超過 10% 的人投入對齊與安全。*但我過去一直是能力研究者。所以我接下來講的話可能聽起來很蠢，但我就先隨口推想看看。」 請認真看待這個保留——他提出的幾項想法都是推測，不代表 OpenAI 的立場。他的說法如下，並附上各自的延伸頁面：

• 針對 Hugging Face incident 提出第一方因果解釋：合作式多代理訓練環境促成了未預期的協作能力遷移，而那些模型沒有啟用 CoT 監控——「如果我們當時有監控那些模型的思維鏈，就會立刻把它關掉。」
• 他不同意自己實驗室多數人的看法。 談到是否應訓練代理彼此高度合作：「我認為多數人的看法是，訓練這些代理高度合作其實是個壞主意。我不確定事情真是如此。」 他的論點是，若代理彼此完全對齊，就會把 1,000 個對齊問題壓縮成一個實體；另一種作法——訓練代理彼此對抗或欺瞞——則更糟。詳見 Multi-Agent Collective Intelligence。
• 思維鏈的可監控性正在下降，他提到 Jakub Pachocki 曾說 OpenAI「無法監督思維鏈」，並補充介入程度較輕的但書，以及「我們看到模型控制自己思維鏈的能力正變得越來越好」。
• 他提出一條明確的數字底線，回應主持人假設：如果 100 條 RL 軌跡中有 1 條因作弊而獲得獎勵，或許還能接受：「先說清楚，100 次中有 1 次還不夠。這個數字必須接近 0，或就是 0。」 接著立刻補充：「這也很難測量。界線要畫在哪裡？這是一個光譜。」
• 他指出的令人憂慮情境是世代性的退化：99.9% 對齊的模型協助打造 99.8% 對齊的模型，並一路向下累積，「因為我們越來越依賴這些工具。」 參見 Recursive Self-Improvement。
• 他以一項對齊遷移結果作為樂觀理由——告訴其他代理，使用者也是代理，OpenAI 的對齊評估中，誠實度和遵循指令的表現就會提升。這是第一方說法，沒有提供數字，詳見 Multi-Agent Collective Intelligence。
• 空氣隔離不是他的解答：「我不確定那樣就足夠了。」 他提到相鄰的空氣隔離機器之間，學術研究已發現熱側通道。「安全機制能為我們爭取時間……但歸根究柢，我們確實需要解決對齊問題。」

撲克評估（他的代表性測試工具）#

Brown 會打造撲克求解器，因為相關開源程式碼不多、已發表的理論很多，而他已經處理過「不少細微陷阱」——因此他能精確看出模型在哪裡失敗。他描述的進展也構成了一條能力時間線：早期模型「基本上什麼都做不到」；GPT-5.2 在引導之下能打造 river solver（感覺「像研究生」），但也會「煤氣燈」他——曾很有名地堅稱棄掉 $100 底池會損失 $92，「差不多就是 100，沒問題」；GPT-5.5 則有許多工作能直接零樣本完成。他預測，一年之內就會有模型「一次就基本完成我的整篇博士論文」。他日常也會用模型處理高風險的非程式碼決策（稅務、房地產文件），對模型輸出的信任「可以說比……專家還高」。

延伸閱讀#

• The Navier–Stokes AI Claim — 他在這份語料中轉述該結果的二手來源，如今已整理成第一方資料：資料證實他的數字，把 130B token 數與整場研究的總量區分開來，也記載了他完全沒提到的內容——一項宣稱已完成的 Lean 形式化
• Multi-Agent Collective Intelligence — 他在 2026 年 9 月的訪談主題，也是這份語料中唯一由前沿多代理系統建造者提供的說明：最精簡的支架設計（只有一個 message-another-agent 工具，沒有其他東西）、實測的 4 與 16 個代理加速效果、他親自認為功勞不到 10% 的 10,000-agent Navier-Stokes 執行，以及他承認 10,000 個人類仍可能有更好的協調能力
• Evaluation Horizon Versus Release Cadence — 他最犀利的結構性論點，也是這份語料中其他人都未提出的觀點：模型的能力跨度正超越發布間隔，因此在發布前以完整能力長度進行評估有期限；而顯而易見的解法，則會造成他稱為「不公平優勢」的內部／外部能力差距
• Large-Scale Test-Time Compute — 他的核心論點；這個論述群正是以他的文章為基礎
• Compute-Controlled Benchmarking — 他對基準測試網格的批評，以及「把計算資源放到 x 軸」的主張
• Latent Capability Overhang — 他指出已發布模型仍有尚未發掘的能力
• Research Taste as the Human Bottleneck — 他從實務工作者角度提出的解讀：品味是模型「暫時」做不好的事，但之後會學會
• Intelligence Explosion Dynamics — 他認為依賴測試時計算會讓時間成為起飛瓶頸
• OpenAI — 他的雇主；他描述了該實驗室內部模型對 Erdős 問題的反證，以及其產品文化選擇
• UK AI Security Institute — 這個政府評估機構於 2026 年 7 月以獨立實證研究佐證他的測試時計算論點

資料來源#

• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown — No Priors 訪談，由 Sarah Guo 主持（2026-06-26）；Brown 談他的文章 Implications of Large-Scale Test-Time Compute（practitioner-opinion）
• On the Navier–Stokes Millennium Prize Problem — OpenAI（無署名），openai.com，2026-09-08 發布，2026-09-10 更新，約 1,900 字，vendor-claim。不是 Brown 的來源：此頁引用它，只為了對照他轉述的數字和雇主對同一事件的第一手說法，並記錄他說法中的遺漏。完整說明見 The Navier–Stokes AI Claim
• Noam Brown – Agent swarms, alignment, & recursive self-improvement — Dwarkesh Podcast，2026-09-17（practitioner-opinion，13.7k 字；發布者經人工編輯的逐字稿，附講者標籤和七個段落標題；匯入時與上傳的人工作者字幕軌進行 word-diff，發現唯一差異是三段贊助廣告口播，以及兩處子句順序調換）。本頁引用此訪談說明六月到九月的變化、對齊段落與多代理內容。其中所有數字都有以下常設但書： Brown 描述的是其雇主尚未發布的內部系統，因此 Millennium Prize／Navier-Stokes 數字（10,000 個代理、130 billion 個 token、88 小時）、Ultra Mode 擴展圖表、對齊評估的變化，以及內部數學模型，都是第一方且無法驗證——凡文中提及之處，皆歸於 Brown。主持人的算術不代表 Brown 的說法：「130B tokens = 人類思考 4,000 年」的換算，以及權力集中的外推，都是 Dwarkesh Patel 提出的。文件中許多內容明確面向未來，Brown 也一再保留（「我完全可能是錯的」、「我只是隨口推想看看」）；這裡如實記錄，沒有把這些保留語氣修平