H
Howardism
Plate IIModel Capability & Training機器翻譯 · machine-translated過時翻譯 · stale translationENHOWARDISM

Software 3.0

PublishedMay 23, 2026FiledConceptDomainModel Capability & TrainingTagsLLM ArchitectureSoftware ParadigmReading5 minSourceAI-synthesised

Karpathy 的分類法：1.0 是程式碼、2.0 是權重、3.0 是提示；LLM 作為可程式化直譯器；MenuGen「不該存在」； 神經網路作為主機程序的外推

Software 3.0 插圖

資料來源#

摘要#

Andrej Karpathy 對三種程式設計典範的分類法：Software 1.0 是明確的程式碼；Software 2.0 是學習得到的權重（透過整理資料集、目標與架構來進行程式設計）；Software 3.0 是提示——LLM 是一台可程式化的電腦，而「上下文視窗裡的內容，就是你操控直譯器的槓桿」。模型在整個網際網路上訓練，隱式地對資料中的每項任務進行多工處理，成為能在數位資訊空間中執行計算的通用直譯器。更深一層的主張是：3.0 不只是讓舊有程式更快，還會讓整類程式變得不必要——並啟用過去根本不可能存在的資訊處理任務。

三種典範#

Software 1.0Software 2.0Software 3.0
你撰寫的是程式碼資料集 + 目標 + 架構提示／上下文
執行者CPU訓練後的神經網路作為直譯器的 LLM
「程式」是原始碼權重上下文視窗

OpenClaw 安裝程式範例#

過去，安裝複雜的跨平台工具，通常意味著要撰寫一個「不斷膨脹、變得極其複雜」的 shell script，來針對每種環境——這是 Software 1.0 的思維。3.0 版本則是：安裝指示就是一段你複製貼上給代理程式的文字。代理程式封裝自身的智慧，檢查你的機器，執行智慧操作，並在迴圈中進行除錯。「要複製貼上給代理程式的那段文字是什麼？這就是現在的程式設計典範。」（概括性的討論請見 Agent-Native Infrastructure。）

Karpathy 建立了 MenuGen——拍攝選單、對品項執行 OCR、生成每道菜的圖片——成為一個真正的 Vercel 應用程式，並接上 image-gen 管線。接著他看到了 3.0 版本：把照片交給 Gemini，說*「使用 Nano Banana 將菜餚覆疊到選單上」*，模型就會回傳一張精確的選單圖片，像素中已渲染出菜餚圖片。「我所有的 menu gen 都是多餘的。那個應用程式不該存在。」神經網路吞沒了整個應用程式；提示就只是圖片，輸出也只是圖片，中間不再需要應用程式。

超越程式碼：新的資訊處理任務#

更微妙的一點是：過去的程式碼操作的是結構化資料。Software 3.0 讓原本根本不是程式的操作成為可能。他舉的例子是 the LLM wiki：「以前沒有任何程式能從一堆事實建立知識庫。現在你可以拿這些文件，以另一種方式重新編譯……將資料重新框定後，形成某種新事物。」他稱這比單純加速「更令人興奮」——不是我們能更快完成什麼，而是過去根本做不到什麼。

外推：神經網路作為主機程序#

推到極限，就是一台「完全由神經網路構成的電腦」——輸入原始影片／音訊，透過 diffusion rendering 產生專屬於當下的 UI，神經網路是主機程序，而 CPU 則是負責確定性附屬功能的協同處理器。他將此描述為 1950 至 1960 年代分岔的反轉（計算器對上神經網路）：古典計算在第一回合勝出，神經網路目前仍虛擬化於其上，而兩者的關係可能倒轉。這是 The Bitter Lesson 在架構層面推至終點的結果。他也保留餘地，表示通往那裡的路徑仍是「TBD」。

相關連結#

開放問題#

  • 「應用程式不該存在」（MenuGen）與應該存在的應用程式之間，界線在哪裡？也就是說，什麼時候確定性的 1.0／2.0 腳手架仍是正確選擇，而不是多餘的？
  • 神經網路作為主機程序的翻轉目前被描述為合理但仍 TBD。第一個真正反轉 CPU／NN 關係的 production system 會是什麼樣子？

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 17
  • Agent-Native Infrastructure×2

    The concrete seed (shared with Software 3 0): installing OpenClaw isn't a shell script, it's a…

  • Andrej Karpathy×2

    Software 3 0 — prompting/context as the program; the LLM as a programmable interpreter.

  • Latent vs. Deterministic Space×2

    Software 3 0 — Karpathy's paradigm frame for the same boundary; his MenuGen example is the inverse…

  • Open Questions Backlog×2

    Software 3 0: The neural-net-as-host-process flip is presented as plausible-but-TBD. What would the…

  • OpenClaw×2

    The canonical agent-native install. Karpathy's go-to example of Software 3 0 / Agent Native…

  • AI as Primary Author

    Software 3 0 — programming-in-English is the paradigm in which an AI can be the author at all

  • Compute Allocator

    Software 3 0 — MenuGen ("that app shouldn't exist") is allocation in action: deciding the neural…

  • Disposable Micro-Apps

    Software 3 0 — micro-apps are Software-3.0-native: Karpathy's MenuGen "that app shouldn't exist" is…

  • HTML as the New Markdown

    Software 3 0 — HTML-first plans and Disposable Micro Apps are Software-3.0-native: per-task UIs…

  • Interaction Models

    Software 3 0 — Karpathy frames interaction models as a step toward the 3.0 neural-computer

  • LLM-as-Compiler Knowledge Base

    Software 3 0 — Karpathy's canonical example of a "new information-processing task that wasn't a…

  • Model Capability & Training

    Software 3 0 — Karpathy's taxonomy: 1.0 code, 2.0 weights, 3.0 prompting; LLM as programmable…

  • OpenAI

    OpenAI is an AI research company and the maker of the GPT‑5 series (including GPT‑5 Thinking and…

  • Thariq Shihipar

    Software 3 0 — his HTML-first workflows and Disposable Micro Apps are Software-3.0-native: per-task…

  • The Bitter Lesson

    Software 3 0 — the neural-net-as-host-process extrapolation is the bitter lesson pushed all the way…

  • Universal AI (AIXI)

    Software 3 0 — Karpathy's "neural net as host process" is a paradigm-level cousin of "pretraining…

  • Vibe Coding vs. Agentic Engineering

    Vibe coding raises the floor (anyone builds); agentic engineering preserves the quality bar while going faster; ">10x a…

Related articles
  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Agent Harness Engineering

    Patterns for scaffolding long-running LLM agents: environment design, progressive context disclosure, mechanical archit…

  • Andrej Karpathy

    Co-founder OpenAI, ex-Tesla AI, Eureka Labs; coined "vibe coding," Software 1/2/3.0, "ghosts not animals," "agentic eng…

  • Claude Code

    Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React on Bun (itself Claude-rewritten…

  • Compute Allocator

    The human's evolving role: deciding what's worth spending compute on; ~1% of generated tokens ship, 99% is scaffolding…