研究品味是人類的瓶頸

資料來源#

• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown
• Thread by @AndrewYNg
• When AI builds itself

摘要#

當 AI 吸收了 AI 開發的執行工作（AI Accelerating AI Development），人類角色便收縮到一種殘餘能力；文章 When AI builds itself 稱之為研究品味與判斷力：「選擇哪些問題重要、相信哪些結果，以及判斷何時某種方法已走入死胡同。」這是自主性階梯的最高一階，也是唯一一項若持續由人類掌握，就能阻止遞迴自我改進閉合循環的能力。它是否會持續由人類掌握，正是文章承重般的不確定性。

逐漸收窄的角色#

文章對這種動態最清楚的描述是：「在人類開發 AI 的每個步驟中，人類角色都在收窄。」其中有兩個具體的收窄方向：

• 撰寫 → 審查。「一旦人類與 AI 撰寫的程式碼品質達到同等水準，人類將完全停止撰寫程式碼，轉而只做審查。」（據報這種同等水準大約現在已經達成；見 AI Accelerating AI Development。）這是從人類一側描述的 harness-shrinkage 故事。
• 執行 → 選擇實驗。「一旦 Claude 能夠執行實驗，問題就會轉向：『這些實驗中，哪些值得執行？』」做事——撰寫程式碼、執行實驗、產生結果——「現在幾乎不再耗費人類時間，即使它仍然需要計算資源成本。」

人類「目前」剩下的比較優勢是品味：決定哪些事情值得投入計算資源。用 Compute Allocator 的術語來說，人類不再是單次呼叫層級的計算資源分配者，而是整個研究計畫層級的計算資源分配者。

為何它可能不會一直由人類掌握——「只是另一種能力」#

文章拒絕把研究品味視為人類永久的護城河。有兩個論點對此提出挑戰：

1. **苦工可以自動化，而且那是大部分工作。**天才是「1% 靈感加上 99% 汗水」；那 99%——擴大規模、看看什麼會壞掉、修正、重試——正是 Claude 擅長的事。大規模研究進展「主要是工具與資源的函數」。（見 The Bitter Lesson、Recursive Self-Improvement。）
2. **品味呈現出與其他一切相同的能力曲線。**研究判斷力正在改善的早期證據——在困難的繞路時刻，Claude 選對下一步的比例從 51% 提升至 64%（AI Accelerating AI Development）——顯示「研究品味可能只是另一種 AI 能力，AI 系統會暫時做不好，然後逐漸變得擅長。」先例是：AI 過去不擅長、後來卻能解釋笑話為何好笑、展現心智理論，以及解決語言謎題——這些定性技能原本都被認為是人類特有的。這是 Jagged Intelligence (Ghosts, Not Animals) 的樂觀面：今天的低谷，可能是明天的高峰。

一位前沿研究者從實務角度閱讀後，站在「只是另一種能力」這一邊。Noam Brown（OpenAI，practitioner-opinion）表示，模型能將他撲克研究中的演算法最佳化到 10–100 倍，但目前無法發明更好的演算法——「我可以給它很多時間，但它仍然做不到」——因此今天的模型「是研究者非常好的補充」，「還無法完全取代整個研究循環」。但他明確預期這種情況會改變：「如果某個時刻——寫程式如此，數學也如此——突然出現一個轉折點，模型真的已經夠好了……我不會對研究品味也遇到那個轉折點感到意外。」這是鋸齒狀低谷論點，由一個在實驗室內部觀察低谷的人說出來。

一位 Anthropic 員工提出了誠實的反駁：「截至目前，人類的比較優勢仍然在於看見全局，並思考超越眼前任務的事情。」問題在於，「目前」究竟是穩定的均衡，還是正在退遠的前沿。

第三種答案：它根本不是能力#

上述兩個論點——品味是持久的護城河，或品味是下一個鋸齒狀低谷——都預設品味是一種能力，也就是心智或具備、或後天取得的東西。Andrew Ng 拒絕這個前提（2026 年 6 月，practitioner-opinion）：

「很多人把這項人類貢獻稱為『品味』，但我更傾向把它理解為人類擁有情境優勢，因為這讓我們更清楚地看見如何協助 AI 系統變得更好……只要人類知道一些 AI 不知道的事，就需要 human-in-the-loop 將那份知識注入系統。」

依照這種理解，殘餘部分不是某種官能，而是資訊不對稱——人類了解使用者、限制、歷史，以及那件明顯到沒有人寫下來的事。這使人類角色變得可證偽（不對稱是否存在？）、會消逝（情境會隨傳遞而閉合），也成為工程問題，而不是神秘學。這也意味著本頁所圍繞的問題——天花板還是低谷？——可能從一開始就問錯了。請見情境優勢，而非品味，了解完整討論，包括這個重新框架在哪裡失效：它解釋了部署不對稱（我了解我的使用者），卻沒有解釋生成不對稱（抽象障礙、變革式創造力），後者缺少的是概念，而不是事實。

兩個框架對什麼算是證據有不同看法。Agentic Coding 中專業能力的回報是區分兩者的工具：如果專業溢價下降，是因為模型獲得了判斷力，那品味就是一種能力；如果下降是因為情境傳遞改善，那品味從頭到尾都是不對稱。

無論哪種情況，都是瓶頸#

即使品味仍由人類掌握，它也會成為關鍵約束——整條管線的 Amdahl's-law bottleneck。如果人類無法像 Claude 生成程式碼那樣快速地審查程式碼，「人類審查將成為 AI 開發的瓶頸。」而如果人類大部分時間都花在那個負責指引方向、只佔個位數百分比的工作上，每個人就能引導多得多的工作量——因此，人類判斷的品質與吞吐量會成為稀缺資源，正如 Verification as the New Bottleneck 對驗證的預測，以及 HBR 的問責重設研究對監督的預測。風險在於，人類名義上做決定，實際上卻只是蓋章批准（「還遠遠無法取代資深研究者」的判斷悄悄腐化成一紙形式）。

人類的代價（較安靜的線索）#

文章收錄了員工對角色收窄感受如何的罕見坦率引述——值得記錄，因為它們指出了生產力圖表不會呈現的代價：

• 小型互助所形成的禮物經濟崩解：請同事「你能幫我讓這個腳本跑起來嗎？」曾經「創造一點債務、一點相互理解。[Claude] 更快了，完全不會創造債務，但每一件這樣的事，都是一次失去的人類協作邀請。」
• 偶然相關性的眩暈：「在一切運作良好的日子，我忍不住會想，我做的事情似乎都不重要……但也有一切都壞掉、我不明白原因的日子，而我會意識到，我已經完全不知道自己到底在做什麼了。」

相關連結#

• 遞迴自我改進 — 品味是否仍由人類掌握，決定三種未來中的哪一種會成真；這是文章的核心不確定性
• AI Accelerating AI Development — 執行工作已被吸收、留下品味作為殘餘的證據
• AI R&D Autonomy Evaluation (AECI) — 「還遠遠無法取代資深 Research Scientists/Engineers」是「品味仍由人類掌握」的正式版本
• Jagged Intelligence (Ghosts, Not Animals) — 笑話與心智理論的先例，說明「AI 暫時做不好、後來卻掌握的能力」；品味是當前的低谷
• Autonomous Scientific Discovery — Mythos 5 的自主假說生成（偏好度約 80%，高於 Opus 類別）以及「只有高階人類輸入」的基因體研究，都是對品味護城河的具體衝擊
• Verification as the New Bottleneck — 如果品味／審查跟不上生成速度，判斷就會成為關鍵約束
• Harness Shrinkage as Models Improve — 同一種角色收窄動態的 harness 版本；面向模型的 harness 消融後還剩下什麼
• Compute Allocator — 把品味實踐為分配：決定哪些實驗值得投入計算資源
• The Bitter Lesson — 「研究進展主要來自工具與資源」是針對品味本身的苦澀教訓
• The Abstraction Barrier — DeepMind 對品味／新概念發現是真正的天花板、而不只是下一個會被攻克的能力所提出的理論論證：AI 可能受人類概念框架限制
• Transformative Creativity — Boden 的第三級（創造新的概念空間）是在概念空間前沿實踐品味；這是「愛因斯坦測試」版本的護城河
• Multi-Agent Collective Intelligence — 引導大型、具超人速度且人類無法完全消化其輸出的代理群體，是集體路徑下品味所採取的形式
• Instrumental Convergence — 以追求知識為目標，是將判斷重新框架為正和的資訊增益，而非稀缺的人類品味
• Artificial Superintelligence (ASI) — 當系統從 AGI 跨入 ASI，品味／判斷是候選的人類保留能力（如果確實有任何能力會留下）
• Returns to Expertise in Agentic Coding — 同一個「品味是否持久？」問題的勞動資料實例：Anthropic 將領域專業回報隨時間下降視為「模型開始提供使用者目前帶來的必要判斷」的訊號——品味只是另一種能力，並在使用資料中變得可經驗追蹤
• Planning / Execution Division of Labor — 把蓋章批准的風險具體化：人類名義上擁有約 70% 的規劃決策，但那份控制究竟是真正的判斷，還是預設批准，正是「要如何衡量蓋章批准？」這個問題
• Implementation Abundance Inverts Product Work — 產品工作的近親：當實作變得廉價，策展／品味成為昂貴的一步，與此處為 AI 研究命名的殘餘相同
• Why AI Lags at Design — 設計品味是人類目前仍能持久保有的、作為獎勵函數的一小塊領域；這是一個品味護城河維持較久的具體領域
• Role Averaging, Not Role Elimination — 「品味制定者從構想之初便提供引導」帶有同樣的蓋章批准風險：只有不等同於預設批准時，引導才是真實的
• Context Advantage, Not Taste — 第三種答案：Andrew Ng 主張品味不是能力，而是資訊不對稱，因此既不是天花板也不是低谷，而是可閉合的差距；它消解了產品工作中的核心問題，卻讓研究前沿的問題繼續存在
• Unknowns as the Agentic Bottleneck — 如果殘餘部分是情境而非品味，誘出情境就是應對方式；Thariq 的盲點測試與訪談是把它傳遞過去的協定
• Noam Brown — 一位前沿研究者的實務解讀：模型能將他的演算法最佳化 100 倍，卻「暫時」無法發明更好的演算法；他預期研究品味會像程式設計與數學一樣出現轉折點
• Researcher Uplift from Code Output — 這種分歧的量化影子：Kwa 的模型將程式碼／工程提升定價，並把研究判斷視為未建模的殘餘（假設非程式碼提升為零），與 Anthropic 所說「集中於工程執行，而非研究判斷」一致；非程式碼提升 > 1，將代表品味開始消退

開放問題#

• 研究品味是真正的天花板（擴展規模無法觸及的架構能力），還是下一個可以填滿的鋸齒狀低谷？文章稱這是決定性的未知。有爭議的前提：Ng 主張，這個問題本身就預設品味是一種能力。
• 如果品味可以自動化，那麼在 AI 開發中，還有什麼——如果確實還有任何東西——能成為人類持久的比較優勢？
• 要如何衡量蓋章批准？「人類設定方向」在紙面上可以為真，但真正的判斷可能悄悄轉移給模型。

資料來源#

• When AI builds itself — §"What might the future of work at Anthropic look like?" 與 §"What if we're wrong?"
• Thread by @AndrewYNg — Andrew Ng，The Batch（2026-06-30），practitioner-opinion：重新框架為「情境優勢，而非品味」
• Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI's Noam Brown — Noam Brown（No Priors，2026-06-26），practitioner-opinion：研究品味作為人類的殘餘角色；「還無法完全取代整個研究循環」，但預期會出現轉折點