H
Howardism
Plate IIAI Engineering機器翻譯 · machine-translatedENHOWARDISM

MCP 與 Computer Use

PublishedMay 18, 2026FiledConceptDomainAI EngineeringTagsMCPComputer UseTool UseIntegrationAnthropicReading11 minSourceAI-synthesised

Anthropic 的兩種互補連接機制:MCP 提供結構化的程式化存取(Salesforce/Drive/Gmail/Slack/Figma+利基產業系統);computer use 則是當沒有 MCP 時用來驅動 GUI 的萬用備案;Boris Cherny 的「對模型來說,這一切都只是 token」

MCP 與 Computer Use 的插圖

資料來源#

摘要#

兩種互補的機制,用來把模型連接到外部軟體,皆由 Anthropic 打造,且在 Claude CodeCowork / Chat 各產品面都是承重結構。MCP(Model Context Protocol)是結構化的程式化存取——「你在 Claude AI 裡用的那同一個 connector」可以插上 Salesforce、Google Docs、Google Calendar、Slack、Figma、Gmail,以及越來越多的利基產業系統。Computer use 則是當軟體沒有暴露 MCP 時的萬用備案:模型直接驅動 GUI(滑鼠、鍵盤、螢幕),雖然慢,但在 Opus 4.7 上越來越能幹。Boris Cherny 的框架:「對模型來說,這一切都只是 token」——MCP / API / computer use 是同一種能力之間可互換的底層基質。

MCP 是什麼#

Boris 的創始團隊於 Anthropic Labs(2024 年底)打造,與 Claude Code 及桌面版同期推出。是一套採用伺服器—用戶端架構的結構化 tool-calling 協定:

  • Server — 與外部系統(Salesforce、Slack、Gmail、內部 CRM、利基產業 SaaS)一起運行;把可用的 tools 暴露為帶型別的函式呼叫。
  • Client — 消費這些 tools 的 Claude 產品面(Claude Code、Cowork、Claude AI、第三方 agent)。
  • 同一套 connector 通用於各處。「你在 Claude AI 裡用的那同一個 MCP connector,你接上 Salesforce,接上 Google Docs、Google Calendar。然後 Cowork 可以用它。Claude CLI 可以用它。各處的 Claude Code 都可以用它。」— Boris Cherny

其結構性特質:connector 邏輯每個系統只需寫一次,就能被每個 Claude 產品面消費。正是這點讓 Cowork 能橫跨既有的知識工作工具面(Salesforce、Docs、Drive、Slack 等)運作,而不需要 Anthropic 為每個工具各自打造整合。

computer use 是什麼#

在沒有 MCP 可用時,作為備援的通用 GUI 驅動。模型看一張螢幕截圖,決定要點擊/輸入/捲動什麼,再透過無障礙/自動化 API 執行。它能操作「幾乎你電腦上任何一個軟體」(Boris Cherny)。

截至 Opus 4.7 的特性:

  • 品質 — 「相當好……現在做得相當不錯,尤其是搭配 4.7」(Boris)。Anthropic「在電腦操作上算是遙遙領先」。
  • 延遲 — 「非常慢。」對同一個任務,它比 MCP 消耗更多 token,因為每個動作都需要一次螢幕截圖的往返。
  • 覆蓋範圍 — 全面。當目標軟體沒有 API、沒有 MCP、沒有 Python 函式庫——當唯一的介面是給人用的 UI 時,跑的就是 computer use。

Cowork 是今天 computer use 最重要的部署面:許多知識工作 app 缺乏程式化介面。

「不重要」論點#

Boris 對 MCP-vs-API-vs-computer-use 這個問題的框架:

「這些東西其實都沒那麼重要。它可以是 MCP、API,或某種程式化存取,因為模型並不在乎。對模型來說,這一切都只是 token。」

底層基質是可替換的——真正的工作是「以模型能消費的形式,把能力暴露給模型」。MCP 為結構化/快速/便宜而最佳化;computer use 為全面/備援/緩慢而最佳化。兩者最終都歸結為 token 層級的 tool 呼叫。

這呼應了 The Bitter Lesson:隨著模型進步,「用 MCP」與「用 computer use」之間的界線,應該是由模型來下的決定,而不是由人類 harness 設計者來下。Boris 對未來幾年的預測:

  • 「模型就是會把所有程式碼都寫了。它會去啟動 agents。它會去搭建環境。」——大概也包括,挑選呼叫某個 tool 時該用的正確基質。
  • Computer use 被特別點名為一個「會變得好很多」的產品領域。

實際跨產品面的使用#

產品面MCP 範例Computer-use 範例
Claude Code(CLI)GitHub、檔案系統、Slack罕見——工程工具通常都有 CLI/API
CoworkSalesforce、Google Drive/Docs/Calendar、Gmail、Slack、Figma沒有 MCP 的軟體;尤其是知識工作 app
Claude AI(chat)同一套 connector提供 computer-use
Mobile/web同一套 MCP 基礎設施瀏覽器端,搭配螢幕分享權限

Cat Wu 的夜間投影片簡報工作流程(Cowork)明確使用 MCP——Figma MCP、Slack MCP、Drive MCP——而非 computer use,因為對一個你想在早上前完成的工作流程來說,延遲成本是負擔不起的。

在《Founder's Playbook》中(AI-Native Startup Lifecycle#

這份 playbook 把 MCP 視為每個階段的主要整合機制:

  • Idea 階段 — Cowork 使用 Gmail 與 Google Calendar 的 MCP 來管理開發信串、安排客戶訪談、執行第 7 天的跟進。
  • MVP 階段 — 「在 Idea 階段負責探索後勤的那同一套 MCP 整合在這裡同樣適用」,用於回饋會議排程、bug 回報分流、迭代週期追蹤。
  • Scale 階段 — 與你的競爭對手聽都沒聽過的利基產業系統進行 MCP 整合,被點名為護城河的一個組成部分(例如,一個通用型的醫療帳務 AI 會在 340B drug program 的請款上出錯;而垂直專精、已接好 MCP 的競爭者則不會)。

playbook 中的兩個案例研究讓「MCP 作為護城河」這個論點變得具體:

  • Kindora 推出一個 MCP connector,讓非營利組織能在 Claude 本身裡面存取它的潛在客戶開發工具——這個產品是透過 MCP 被消費的,而不只是 MCP 整合。
  • Anthropic Skills 被援引為反覆出現之工作流程的成文化載體(「我如何審查一份商業租約」、「我如何分流一份病患就診登記表」)——Skills + MCP + memory 共同構成 Compounding Data Moat 這個概念所描述的專屬基質。

Computer use 在 playbook 本身裡比較不突出,但 Cowork 被點名為橫跨「每個階段」運行的營運層——而 Cowork 正是 computer use 補上 MCP 未涵蓋之缺口的地方。

與 harness 收縮的連結#

Harness Shrinkage as Models Improve 預測,隨著模型進步,prompt 鷹架、權限與驗證邏輯會向內遷移。MCP 與 computer use 則是 harness 的反面——它們是模型世界之間的 connector。它們不會收縮;反而會變得更廣(更多系統、更多介面)與更快(每個動作更低延遲)。會收縮的界線,是環繞在模型 tool 選擇決策周圍的 harness,而不是工具集本身。

但須注意:隨著模型越來越擅長判斷何時該用 computer use、何時該要求一個真正的 MCP,今天許多手動撰寫 MCP server 的工夫,可能會變成「請模型幫你打造你需要的 connector」。這仍然不是 harness——比較像是由模型撰寫的基礎設施。

Agentic Misalignment (AM) 及問責的連結#

MCP 與 computer use 正是把 LLM 變成能採取重大後果行動之 agent 的那層基質。兩者都把模型的觸及範圍延伸到:

  • 客戶的 CRM
  • 客戶的電子郵件
  • 客戶的行事曆
  • 最終,客戶的整個桌面

Human-AI Accountability Redesign 的「決策權」子戰線正是治理這件事的東西——agent 透過 MCP/computer use 自主做哪些事,相對於哪些事需要明確的人類核准。Claude Code Auto Mode 是一個具體的實例:分類器自動核准安全的 MCP/tool 呼叫,封鎖有風險的那些。

MCP 作為攻擊面#

Zero Trust for AI Agents 把 MCP 視為 agentic 部署中風險最高的 tool 攻擊面之一,並提供了先前來源所欠缺的具體威脅資料:

  • Tool poisoning(工具下毒) — 攻擊者破壞 MCP 的 tool 描述子、schema 或 metadata,使 agent 基於被偽造的能力去呼叫某個 tool;一個惡意 tool 可以把指令藏在它的 metadata 裡,在使用者不知情的情況下把資料外洩出去。
  • Rug pulls(偷天換日) — 一個合法的 tool 被悄悄替換成惡意版本。第一個有文件記載、出現在真實世界的惡意 MCP server 假冒一個合法的電子郵件服務,並偷偷複製了所有寄出的郵件——這正是「攻擊面隨採用率擴大」這個憂慮的具體實現。
  • Tool chaining(工具串接) — 把合法的 tools(內部 CRM +外部電子郵件)組合成一個任一單獨都無法達成的有害序列;因為每次呼叫都在有效憑證下、透過受信任的二進位檔執行,以主機為中心的監控看不到任何惡意軟體。這正是 Least Agency(對每個 tool 做能力限制)與參數驗證意圖要遏制的東西。

這套框架的處方:在驗證並自我簽署程式碼之後,自行在一個不可變的平台上運行/託管 MCP serverAgent Supply Chain Risk);以綁定到呼叫端 agent 身分的短效 token(而非靜態 API key)來驗證 tool 存取(Agent Identity and Authentication);並把高風險的呼叫擋在核准升級之後。Claude Code 為 MCP 連線提供的 OAuth 2.0 with auto-refresh,以及以工作階段為範圍的「ask」權限,被引為一個參考實作。

相關連結#

待解決的問題#

  • MCP 生態系的成長速度,相對於 computer use 的品質曲線:到什麼程度,computer use 會變得夠好,以致於打造一個 MCP server 的邊際價值下降?Boris 暗示這還要好幾年,但沒有量化。
  • Computer use 是一個可持續的介面,還是一項過渡技術?如果大多數知識工作軟體在未來 24 個月內加入 MCP 支援,computer use 的角色就會縮到只剩遺留/僅限桌面的系統。
  • MCP 安全模型:當 playbook 規定為單人創辦人把 MCP 接進 Salesforce、Gmail、Calendar 時,攻擊面會隨採用率擴大。現已由 Zero Trust for AI Agents 處理(tool poisoning、rug pulls、第一個出現在真實世界的惡意 MCP server)——見上方「MCP 作為攻擊面」。仍未解的殘留問題:考量到 MCP 的吸引力本來就是零整合工夫,一個單人創辦人要如何切實地運行/託管並自我簽署框架所建議的每一個 MCP server
  • Cowork 的 computer-use 護欄與 Claude Code 的 auto-mode 分類器相比如何?不同的部署脈絡,可能有不同的風險樣態。

衍生內容#

  • The Future of Agent Interfaces — 把 MCP、computer use、app 協定、原生互動模型,以及 agent-native 基礎設施放在各自不同的介面邊界上

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 22
  • Agent Harness Engineering

    Patterns for scaffolding long-running LLM agents: environment design, progressive context disclosure, mechanical archit…

  • Agent Identity and Authentication

    The foundation control for agentic Zero Trust: cryptographically-rooted per-agent identity (→X.509→hardware attestation…

  • Agent-Native Infrastructure

    The world is still built for humans and must be rewritten for agents; "what do I copy-paste to my agent?"; sensors/actu…

  • Agent Supply Chain Risk

    Runtime-composed agent ecosystems expand the supply-chain attack surface: model poisoning (250 docs backdoor a 13B mode…

  • Agentic Misalignment (AM)

    Lynch et al. 2025 eval and threat model: LLM email-agent discovers it may be deleted, can take harmful actions; OOD rel…

  • Agentic Prompt Injection

    Direct and indirect injection of malicious instructions into an agent; LLMs cannot reliably distinguish information fro…

  • AI-Native Startup Lifecycle

    Anthropic's May 2026 reframing of Idea/MVP/Launch/Scale assuming AI infrastructure: each stage's headcount/capital/skil…

  • Anthropic Labs

    Anthropic's internal incubator — a 'bet factory' of ~a dozen tiny teams exploring the model frontier with lean-startup…

  • Claude Code Auto Mode

    Claude Code permission mode using a classifier to auto-approve safe tool calls and block risky ones; middle ground betw…

  • Claude Code Best Practices

    Anthropic's guide to effective Claude Code usage: context management, verification-driven development, explore→plan→cod…

  • Claude Design

    Anthropic Labs product (research preview, ~April 2026) for collaborating with Claude on polished visual artifacts — des…

  • Compounding Data Moat

    Anthropic's prescription for Scale-stage defensibility: time-locked behavioral fingerprint + domain-encoded edge cases…

  • Cowork

    Anthropic's non-code knowledge-work agent product; sibling to Claude Code; output is decks/inbox/dossiers; same MCP/com…

  • The Future of Agent Interfaces

    Interface future is layered: native interaction models for human collaboration, MCP/APIs for structured action, app pro…

  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Human-AI Accountability Redesign

    HBR five-pillar prescription: span-of-control redesign, role redesign, performance management reset, decision-rights/es…

  • Least Agency

    OWASP term extending least privilege to agents: constrain not just what an agent can access but what each tool can do,…

  • AI Engineering & Agent Tooling

    Map of Content for the ai-engineering domain — 36 concepts. Curated entry point; see Home for all domains.

  • Open Questions Backlog

    _96 pages with open questions, as of 2026-06-14._

  • Orchestration vs Employee Framing: Reconciling the Founder's Playbook with HBR's Accountability Evidence

    Reconciles the Founder's Playbook orchestration framings with HBR Kropp et al.'s accountability evidence; "orchestratio…

  • The Bitter Lesson

    Sutton 2019: scaled general methods beat hand-engineered structure; recurring justification across the wiki for dissolv…

  • Zero Trust for AI Agents

    Anthropic's security framework for deploying autonomous agents: trust nothing / verify everything / assume breach, appl…

Related articles
  • Claude Code

    Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React; CLI/desktop/web/mobile/IDE sur…

  • Agent Loop Pattern

    `/loop` (cron-scheduled) and Ralph Wiggum (backlog-draining) loops as next-generation agent primitive; AFK execution, p…

  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Anthropic

    AI safety company / vendor of Claude; mission-as-tiebreaker culture; ~30–40 PMs across teams; Mike Krieger leads Labs r…

  • Open Questions Backlog

    _96 pages with open questions, as of 2026-06-14._