資料來源#
摘要#
Google Cloud 用於建置、執行與評估代理的平臺——在本資料集中,是 Agent Quality Flywheel 底層的基礎設施。其評估堆疊是值得注意的部分:這是一項 GenAI 評估服務,其 AutoRaters(與 Google DeepMind 共同開發;Google 表示,這些評分器也用於自家模型與第一方代理)是自適應的模型式評審器——對多輪代理而言,它們會從對話中擷取使用者意圖、為每個案例產生評分規準、依各項標準驗證追蹤記錄,並在多個樣本間以多數決作出判定。
參考元件#
- GenAI evaluation service — 飛輪中 optimizer/evaluator split 的獨立評分器;提供預先定義的多輪 AutoRaters(
multi_turn_task_success、multi_turn_trajectory_quality),以及自訂評分規則指標。 - User Simulator — 在尚未有真實流量前,合成多輪情境以進行冷啟動評估。
- Automatic Loss Analysis — 當失敗數量達到十次以上時,將失敗判定分群。
- Online Monitors — 持續評估即時 production 流量,並將品質分數寫入 Cloud Monitoring。
- OTel tracing — 代理會發出 OpenTelemetry 追蹤記錄(ADK 預設如此);production 追蹤記錄也可作為評估資料集。
- ADK (Agent Development Kit) + agents-cli — Google 的代理框架與 CLI 工具鏈;
adk-samples中的代理是飛輪的示範對象。 - The two skill packages —
google-agents-cli-eval(ADK/agents-cli)與agent-platform-eval-flywheel(Evaluation SDK,適用於任何框架),透過 skills.sh 的npx skills add …安裝。
在資料集中的定位#
這是 Google 方面對應於 Claude Code 與 Codex 代理堆疊的平臺——但那些條目著重於使用代理進行建置,而本平臺在資料集中的角色是衡量代理:它將評估(評審器、模擬器、監控器)包裝成產品介面。其交付機制是由你已在使用的任何 coding agent 驅動的 skill,本身也印證了 skills-as-distribution-unit 模式(Agentic Work Systematization)。
相關連結#
- Agent Quality Flywheel — 本平臺提供並執行的方法論
- Google DeepMind — 評估堆疊核心 AutoRaters 的共同開發者
- Optimizer–Evaluator Decoupling — 評估服務是該規則要求的獨立評分器
資料來源#
- Driving the Agent Quality Flywheel from Your Coding Agent- Google Developers Blog — Melnyk & Dai, 2026-06-30 (
vendor-claim)
Cited by 4
- Google DeepMind×3
Gemini Enterprise Agent Platform — the Cloud product surface where DeepMind-built AutoRaters ship…
- Agent Quality Flywheel
Gemini Enterprise Agent Platform — the platform whose evaluation service, User Simulator, Online…
- LLM-as-a-Judge
Google's Gemini Enterprise Agent Platform AutoRaters (developed with Google Deepmind; the grading…
- Entities — People, Orgs, Tools & Projects
Gemini Enterprise Agent Platform — Google Cloud's agent platform: the GenAI evaluation service with…
Related articles
- Agent Quality Flywheel
Google's eval-fix loop packaged as a skill your coding agent drives: Build & Test → Ship & Monitor → Learn & Refine, ex…
- Agent Review Comment Resolution
Cynthia, Widyasari, Roy, Zhang & Lo (Saskatchewan/SMU/Monash, arXiv 2607.21997): 54,713 agent-generated review comments…
- Evals as Product Spec
Cat Wu's framing of evals as the emerging core PM skill: ten great evals beats a hundred mediocre; encode what done loo…
- Failures That Look Like Success
The quiet agent-failure class where everything reads fine — confident answer, plausible plan, even correct internal sta…
- Google DeepMind
Google's AI lab; built AlphaProof Nexus; Gemini models, AlphaProof, AlphaEvolve, and the open-weight Gemma line; opens…
