資料來源#
- Gemma 4 Technical Report
- Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
摘要#
Gemma 4 報告的表 4，是截至 2026 年 6 月 19 日的開放權重模型版圖快照，測量基於 Arena Text——盲測的並列人工偏好評比，以 Elo 評分。這是整份充滿自行回報基準測試的文件中，唯一經外部裁決的數字，而且它比其他任何數字都更具資訊量。
| 排名 | 模型 | Elo | 開放 | 類型 | 參數／啟用參數 |
|---|---|---|---|---|---|
| 1 | Claude Fable 5 | 1508 | 否 | — | — |
| ~15 | GLM 5.1 | 1475 | 是 | MoE | 744B / 40B |
| 29 | MiMo V2.5 Pro | 1466 | 是 | MoE | 1T / 42B |
| 34 | Kimi K2.6 | 1460 | 是 | MoE | 1T / 32B |
| 36 | DeepSeek V4 Pro Thinking | 1458 | 是 | MoE | 1.6T / 49B |
| 43 | Gemma 4 31B | 1451 | 是 | Dense | 31B |
| 57 | Qwen 3.5 397B-A17B | 1444 | 是 | MoE | 397B / 17B |
| 61 | Gemma 4 26B-A4B | 1438 | 是 | MoE | 26B / 4B |
| 157 | Gemma 3 27B | 1366 | 是 | Dense | 27B |
三種解讀#
**Elo 的落差很小，參數的落差卻極大。**最佳開放模型落後最佳閉源模型 33 Elo；Gemma 4 31B 則落後 57。但 GLM 5.1 以 7440 億個參數對上 31 億個參數，換來領先 Gemma 24 分——比例是 24 倍，而且它每個 token 啟用 40B，超過 Gemma 整個 dense 模型的參數量。「開放權重幾乎追上了」和「前沿的開放權重需要資料中心」都是真的，而它們只是從兩端讀同一句話。
**前沿開放模型意味著 MoE；Gemma 並沒有在玩這場遊戲。**Gemma 4 31B 之上的每個開放模型，都是 397B–1.6T 範圍內的 Mixture-of-Experts。Gemma 自己的摘要——「排行榜上領先的 dense 開放模型」——是一項界線劃分得非常精確的主張，而重點就在這個界線。這個系列明確瞄準的是「多樣化的硬體環境」與「邊緣部署」。它在推理效率這條軸線上競爭：量化後 0.8 GB 的 E2B，是 1.6T 模型根本無法進入的一個類別。兩種開放權重策略已經分流：以稀疏性接近前沿，以及以效率接近裝置。
如今，稀疏性這一側也有了已記錄的訓練方法。本表頂端的 GLM 5.1（744B/40B）是 GLM-5.2（750B-A40B）的直接前身，而 SAO 論文報告指出，該模型是以非同步單次 rollout RL 訓練而成。因此，這個 corpus 現在同時擁有前沿開放 MoE 故事的兩端：這些模型落在哪裡（本頁），以及它們如何被訓練到那裡（LLM 的非同步 RL）。同一篇論文的表 1 也顯示，GLM-4.7 在四項數學基準測試中的三項擊敗 GPT-5 High 與 Claude-Sonnet-4.5——這是在測量基準上、而非 Arena Elo 上，對 Gemma 效率定位的一個能力面反例。
**DeepMind 的 MoE 敗給 DeepMind 的 dense 模型。**Gemma 4 26B-A4B（Elo 1438，排名 61）比 Gemma 4 31B（1451，排名 43）低 13 Elo；兩者來自同一實驗室、同一次發布，且是在人工偏好評比中得出——同時，表中每個更大的開放模型都證明了 MoE 能夠擴展。在靜態基準測試上，MoE 與 dense 模型很接近（MMLU Pro 82.6 對 85.2、AIME 88.3 對 89.2），有時甚至領先（τ²-airline 76.0 對 75.0），但人工評分者偏好 dense 31B。報告沒有評論這一點。如果這個效果是真的，它表示稀疏性的回報要到遠高於 26B 的規模才會出現，或者 Arena 評分者所回應的品質，是由啟用參數量（3.8B）所支配。
為什麼人工偏好數字才值得信任#
報告的其餘部分是 Google 測量 Google。Arena 是盲測、第三方、人工評分，並附有信賴區間（Gemma 為 ±8）。它也以一種易於理解的方式不同意靜態基準測試：Gemma 4 31B 被宣稱可媲美「更大的前沿開放模型」，而在 Arena 上它確實做到了——對上 DeepSeek V4 Pro 的 1456，落在合併誤差範圍內。這是一項真實的結果，恰恰因為 Google 沒有替它評分，所以才真實。
同一張表悄悄把 Claude Fable 5 列為第 1 名——這是第三方對某模型地位的佐證；該模型自己的 wiki 頁面完全建立在 Anthropic 的 vendor-claim 公告上，而其正面對決基準測試表也只以未轉錄的圖片形式發布。競爭對手的排行榜，比 Fable 5 自己的發布文章更能證明 Fable 5 的地位。
表格沒有控制的因素#
Arena Elo 沒有攜帶運算預算。Gemma 4 的條目是思考模式模型；表格沒有說明它們是在什麼思考預算下提供服務，也沒有說明閉源模型花費了多少。根據運算控制基準測試，沒有預算的偏好分數，和沒有預算的基準測試分數有同樣的缺陷——只是把缺陷藏在人類判斷後面，而不是藏在數字後面。開放對閉源的 33-Elo 落差，可能是能力落差、推理花費落差，或兩者皆是。
相關連結#
- Gemma 4 — 表格來源；領先的 dense 開放模型
- Claude Fable 5 — 排名第 1，且此處是由競爭對手而非供應商引用
- Inference Efficiency as Capability — Gemma 競爭的軸線，而非規模
- Compute-Controlled Benchmarking — 沒有預算的 Elo 分數，仍然是沒有預算的分數
- Open-Weight Elicitation Irreversibility — 當這些模型帶有思考模式後，「開放」的代價
- Jagged Intelligence (Ghosts, Not Animals) — 總體 Elo 隱藏了小型 Gemma 在推理上擊敗 Gemma 3 27B、在知識上落敗的事實
- Large-Scale Test-Time Compute — 表格每個儲存格底下那個未命名的變數
- Encoder-Free Early Fusion — 讓 31B dense 模型得以參與競爭的其中一個槓桿
- Responsible Scaling Policy Evaluations — 為何此處的開放權重安全論點是結構性的：Gemma 4 排名第 43，離風險門檻還很遠
- Task Time-Horizon Scaling — Arena 評分聊天偏好；開放／閉源落差是否能在長時間跨度的 agentic 工作中維持，是另一種測量
- Google DeepMind — 發布這張表，也讓自己在表中排名第 43
- GLM (Z.AI) — GLM 5.1（表格頂端）及其經 SAO 訓練的後繼模型 GLM-5.2：本頁拿來與 Gemma 效率策略對比的能力面開放權重策略
- Single-Rollout Optimization — GLM MoE 系列持續位居前沿背後的 RL 方法；與這個落地位置快照互補的訓練面
開放問題#
- 26B 規模下 dense 勝過 MoE 的結果是否穩健，還是只是一個 Arena 快照的產物，而兩個模型都有 ±8 的誤差範圍？（兩個區間重疊：1451±8 與 1438±8。）
- 開放 MoE 巨型模型（GLM、DeepSeek、Kimi、MiMo、Qwen）壓倒性地都是中國實驗室發布的模型。Gemma 是西方的開放權重代表，它瞄準的是裝置，而非前沿。這是策略選擇，還是能力限制？
- Arena 衡量的是聊天中的偏好。在長時間跨度的 agentic 工作中，開放／閉源的 33-Elo 落差會擴大還是縮小？在那裡，決定結果的是時間跨度，而非回應品質。
資料來源#
- Gemma 4 Technical Report — 表 4，截至 2026-06-19 的 Arena Text 排行榜（
empirical；第三方人工評分，不同於報告其餘自行回報的基準測試）；§4.1 人工評估 - Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning — GLM-5.2（750B-A40B）作為 SAO 的部署目標；表 1 中的 GLM-4.7（
empirical，對 GLM 實驗室而言是第一方資料）
Cited by 24
- Kimi (Moonshot AI)×4
On the two third-party Elo agentic measures the card cites from Artificial Analysis, K3 sits 61 Elo…
- Open Questions Backlog×4
Open Weight Frontier Gap (34d) — Is the dense-beats-MoE result at 26B robust, or an artifact of one…
- GLM (Z.AI)×3
Open Weight Frontier Gap — GLM-5.2 is the 744B–1.6T-class open MoE that page describes; GLM-4.7's…
- Inference Efficiency as Capability×3
3.7% activation sparsity. 104B active of 2.8T total, routing 16 of 896 experts per token plus 2…
- Autonomous Intrusion×2
It is also the first safety-grounded argument for open weights in this corpus. Open Weight Frontier…
- Balance-of-Power Superintelligence×2
Resuming open-weight releases. "Now that Meta Superintelligence Labs are up and running, we will…
- Claude Fable 5×2
Open Weight Frontier Gap — Fable 5 is the rank-1 closed reference point in DeepMind's Arena table;…
- Firm AI-Spend Intensity and Headcount Growth×2
Open Weight Frontier Gap — the demand-side half of the same monthly index: the highest-PEPM tail of…
- Gemma 4×2
It is not competitive at the frontier, and says so. On Arena Text (June 19, 2026), Gemma 4 31B sits…
- Inkling×2
The positioning is explicit and unusual: "Inkling is not the strongest overall model available…
- Open-Weight Elicitation Irreversibility×2
Note that this is not an argument that Gemma 4 is dangerous. Gemma 4 sits at Arena rank 43 (Open…
- Telemetry vs. Survey Measurement×2
ramp ai index july 2026 — Ara Kharazian, Ramp's latest data on China vs. the American AI Labs (Ramp…
- AI Product Economics Maturation
Ramp's data also puts a bound on the deck's Chinese-model tail (DeepSeek 7%, Alibaba 6%, Moonshot…
- Asynchronous RL for LLMs
Open Weight Frontier Gap — GLM-5.2, trained under this async regime, is the frontier-open MoE that…
- Autonomous Defense
Open Weight Frontier Gap — self-hostability becomes an incident-response prerequisite, not a cost…
- Cline
Open Weight Frontier Gap — ClinePass is a commercial bet that curated open-weight models are good…
- Compute-Controlled Benchmarking
Open Weight Frontier Gap — Arena Elo inherits the same defect: human preference scored at an…
- Encoder-Free Early Fusion
Open Weight Frontier Gap — encoder removal is one of the levers that lets a small dense model…
- Google DeepMind
Open Weight Frontier Gap — the lab publishes the Arena table that places it 43rd
- Jagged Intelligence (Ghosts, Not Animals)
Open Weight Frontier Gap — an aggregate Arena Elo averages the ridge flat; the small Gemmas'…
- Model Capability & Training
Open Weight Frontier Gap — Arena Text, June 2026: the top closed model leads the best open model by…
- Responsible Scaling Policy Evaluations
Gemma 4 (DeepMind, July 2026, Apache 2.0) makes the shape visible. It ships a thinking mode; its…
- Single-Rollout Optimization
Open Weight Frontier Gap — GLM-5.2 (750B-A40B), SAO's deployment target, is the frontier-open MoE…
- Task Time-Horizon Scaling
Open Weight Frontier Gap — Arena Elo measures chat preference; whether the 33-Elo open/closed gap…
Related articles
- Gemma 4
Google DeepMind's July 2026 open-weight multimodal family (Apache 2.0): 2.3B–31B dense plus a 26B/4B-active MoE, adding…
- Compute-Controlled Benchmarking
Noam Brown's critique: the single-number benchmark grid is broken because it ignores test-time compute — plot performan…
- Open-Weight Elicitation Irreversibility
A wiki-drawn synthesis of Brown and Gemma 4: if dangerous capability scales with inference budget, then an open-weight…
- Open Questions Backlog
_456 actionable open questions across 205 pages · 107 predictions · 9 notes · 147 in progress · 69 watching (entities),…
- Large-Scale Test-Time Compute
Noam Brown's thesis that model capability is now a function of inference budget (tokens/cost/time): with good scaffoldi…