H
Howardism
Plate IIInteraction & Multimodal機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

回合制介面瓶頸

PublishedMay 13, 2026FiledConceptDomainInteraction & MultimodalTagsHuman AI CollaborationLLM ArchitectureInterfaceReading4 minSourceAI-synthesised

為什麼目前的 AI 介面限制了協作:單執行緒的輪流互動是頻寬瓶頸;人類是被介面而非工作排除在外;較不智慧的 harness(VAD/回合偵測)應當消融

回合制介面瓶頸插圖

資料來源#

摘要#

Thinking Machines Lab 闡述了目前 AI 介面限制協作的原因:回合制介面是人類與模型之間的頻寬瓶頸。這正是 Interaction Models 致力於消融的問題。

兩項主張#

  1. AI 實驗室過度追求自主性。 實驗室將自主能力視為模型最重要的特性;因此,今天的模型與介面「並未針對讓人類持續參與其中而最佳化」。但在大多數真實工作中,使用者無法事先完整說明需求後就離開——良好的結果來自釐清與回饋的協作迴圈。

  2. 人類是被介面而非工作排除在外。 「人類越來越被排除在外,不是因為工作不需要他們,而是因為介面沒有為他們留下空間。」解決方式是讓人們以與他人協作相同的方式與 AI 協作:傳訊息、交談、聆聽、觀看、展示、插話——模型也做同樣的事。

機制:單一執行緒#

今天的模型「在單一執行緒中體驗現實」:

  • 在使用者完成輸入/說話之前,模型會等待,對使用者正在做的事情以及做事方式沒有任何感知
  • 在模型完成生成之前,它的感知會凍結——除非模型完成或遭到中斷,否則不會有新資訊進入。

這個狹窄的通道限制了人的知識、意圖與判斷有多少能傳達給模型,也限制了模型的工作有多少能被人類理解。可以類比為:「試圖透過電子郵件解決一項關鍵分歧,而不是當面處理。」

為什麼 harness 無法解決問題#

現有的即時系統透過 harness 加裝互動性——VAD(語音活動偵測)、回合邊界預測、對話狀態機——這些元件「在實質上都比模型本身不智慧」。這個 harness 預先排除了完整的互動模式:

  • 主動插話(「我說錯時打斷我」)
  • 對視覺線索做出反應(「我在程式碼中寫出錯誤時告訴我」)
  • 邊聽邊說(「即時將西班牙語→英語翻譯」)
  • 邊看邊說(「為這場體育賽事進行即時評述」)

The Bitter Lesson 指出,這些手工打造的系統會被通用能力的成長速度超越 → 解決方案是讓互動性成為模型原生能力(參見 Time-Aligned Micro-Turns)。

相關連結#

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 14
Related articles
  • Interaction Models

    Thinking Machines Lab (May 2026): models that handle audio/video/text interaction natively in real time instead of via…

  • Interaction / Background Model Split

    Dual-model architecture: time-aware interaction model stays present; async background model handles deep reasoning/tool…

  • Agent Harness Engineering

    Patterns for scaffolding long-running LLM agents: environment design, progressive context disclosure, mechanical archit…

  • Full-Duplex Interaction

    Perceive-and-respond simultaneously across modalities; proactive interjection, visual-cue reactions, simultaneous speec…

  • Encoder-Free Early Fusion

    Multimodal design with minimal pre-processing instead of large standalone encoders: TML co-trains dMel audio + 40×40-pa…