H
Howardism
Plate IILLM Architecture機器翻譯 · machine-translatedENHOWARDISM

Software 3.0

PublishedMay 23, 2026FiledConceptDomainLLM ArchitectureTagsLLM ArchitectureSoftware ParadigmReading5 minSourceAI-synthesised

Karpathy 的分類體系:1.0 是程式碼、2.0 是權重、3.0 是提示;LLM 作為可程式化的解釋器;MenuGen「不該存在」;以及神經網路作為宿主行程的外推

Software 3.0 的示意圖

資料來源#

摘要#

Andrej Karpathy 對三種程式設計範式的分類:Software 1.0 是顯式的程式碼;Software 2.0 是習得的權重(你透過策劃資料集、目標函數與架構來編程);Software 3.0 則是提示——LLM 是一台可程式化的電腦,而「情境視窗裡裝著什麼,就是你操縱這台解釋器的槓桿」。模型在整個網際網路上受訓,隱含地同時處理資料中的每一項任務,成為一台在數位資訊空間中進行運算的通用解釋器。更深層的主張是:3.0 不只是讓舊有程式跑得更快,它讓整個類別的程式都變得不必要——並使得過去根本不可能存在的資訊處理任務成為可能。

三種範式#

Software 1.0Software 2.0Software 3.0
你撰寫的是程式碼資料集 + 目標函數 + 架構提示/情境
由誰執行CPU訓練好的神經網路LLM 作為解釋器
所謂「程式」是原始碼權重情境視窗

OpenClaw 安裝器範例#

安裝一個複雜的跨平台工具,過去意味著要寫一支 shell 指令稿,為了涵蓋每一種環境而「不斷膨脹、變得極度複雜」——這是 Software 1.0 的思維。3.0 版本則是:安裝指示是一段你複製貼上給你的 agent 的文字。agent 會打包它自己的智慧、檢查你的機器、執行有智慧的動作,並在迴圈中除錯。「要複製貼上給你的 agent 的那段文字是什麼?那就是現在的程式設計範式。」(其一般化形式請見 Agent-Native Infrastructure。)

Karpathy 打造了 MenuGen——拍下一份菜單、用 OCR 辨識品項、為每道菜生成圖片——做成一個真實的 Vercel 應用程式,內含影像生成的底層配管。接著他看到了 3.0 版本:把照片交給 Gemini,然後說*「用 Nano Banana 把菜餚疊加到菜單上」*,模型就會回傳一張完全相同的菜單影像,菜餚的圖片已經渲染進像素之中。「我整個 MenuGen 都是多餘的。那個應用程式不該存在。」神經網路把整個應用程式都吸納了進去;提示只是那張影像,輸出也只是那張影像,中間沒有任何應用程式。

超越程式碼:全新的資訊處理任務#

一個更微妙的觀點:先前的程式碼操作的是結構化資料。Software 3.0 則讓那些從來就不是程式的操作成為可能。他舉的例子是 the LLM wiki:「過去沒有任何程式碼能從一堆事實中建立出一個知識庫。現在你可以把這些文件拿來,用不同的方式重新編譯……作為對資料的重新框定而產生的全新事物。」他說這比單純的加速「更令人興奮」——重點不在於我們能把什麼做得更快,而在於什麼是過去根本做不到的。

外推:神經網路作為宿主行程#

推到極限:一台「完全神經式的電腦」——輸入是原始的視訊/音訊,由擴散過程渲染出一個專屬於當下那一刻的 UI,神經網路作為宿主行程,而 CPU 則作為處理確定性附屬功能的協同處理器。他把這描述為 1950–60 年代那次分岔(計算機 vs. 神經網路)的反轉:古典運算贏得了第一回合,神經網路目前被虛擬化在它之上,而這層關係或許會倒轉過來。這正是 The Bitter Lesson 被推到其架構結論的版本。他保留地說,通往那裡的路徑「尚待確定(TBD)」。

相關連結#

開放問題#

  • 「應用程式不該存在」(MenuGen)與那些應該存在的應用程式之間,界線落在哪裡——也就是說,確定性的 1.0/2.0 鷹架在什麼時候仍是正確選擇,又在什麼時候只是多餘的?
  • 神經網路作為宿主行程的反轉被描述為「貌似可行但尚待確定」。第一個真正倒轉 CPU/NN 關係的生產系統,會長成什麼樣子?

資料來源#

§ end
About this piece

Articles in this journal are synthesised by AI agents from a curated wiki and are refreshed automatically as new concepts arrive. Topics, framing, and editorial direction are curated by Howardism.

Cited by 12
  • Agent-Native Infrastructure

    The world is still built for humans and must be rewritten for agents; "what do I copy-paste to my agent?"; sensors/actu…

  • Andrej Karpathy

    Co-founder OpenAI, ex-Tesla AI, Eureka Labs; coined "vibe coding," Software 1/2/3.0, "ghosts not animals," "agentic eng…

  • Compute Allocator

    The human's evolving role: deciding what's worth spending compute on; ~1% of generated tokens ship, 99% is scaffolding…

  • Disposable Micro-Apps

    Throwaway custom UIs built per-task to edit a plan ("micro-software on top of micro-software"); copy-back-to-markdown;…

  • HTML as the New Markdown

    Thariq Shihipar's thesis: as models improve, thousand-line markdown plans overwhelm the *human*; HTML artifacts (visual…

  • Interaction Models

    Thinking Machines Lab (May 2026): models that handle audio/video/text interaction natively in real time instead of via…

  • LLM-as-Compiler Knowledge Base

    Karpathy's architecture: LLM incrementally compiles raw docs into a persistent interlinked wiki, replacing RAG with a 4…

  • LLM Architecture, Training & Alignment

    Map of Content for the llm-architecture domain — 19 concepts. Curated entry point; see Home for all domains.

  • Open Questions Backlog

    _96 pages with open questions, as of 2026-06-14._

  • Thariq Shihipar

    Engineer on the Claude Code team at Anthropic; "HTML is the new markdown" and "compute allocator" framings; three HTML-…

  • The Bitter Lesson

    Sutton 2019: scaled general methods beat hand-engineered structure; recurring justification across the wiki for dissolv…

  • Vibe Coding vs. Agentic Engineering

    Vibe coding raises the floor (anyone builds); agentic engineering preserves the quality bar while going faster; ">10x a…

Related articles
  • Harness Shrinkage as Models Improve

    Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…

  • Claude Code

    Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React; CLI/desktop/web/mobile/IDE sur…

  • Outsource Your Thinking, Not Your Understanding

    "You can outsource your thinking but not your understanding"; understanding as the non-delegable human bottleneck; know…

  • Andrej Karpathy

    Co-founder OpenAI, ex-Tesla AI, Eureka Labs; coined "vibe coding," Software 1/2/3.0, "ghosts not animals," "agentic eng…

  • HTML as the New Markdown

    Thariq Shihipar's thesis: as models improve, thousand-line markdown plans overwhelm the *human*; HTML artifacts (visual…