LLM-Evaluation
一句話定義
評估 LLM / agentic 系統是否真的可用的一整套方法：同時檢查整體體驗、單一步驟、客觀正確性、主觀品質、量化指標與質性失敗原因。
核心要點
Eval 是 production agentic system 的命脈
Agentic-Workflow 不是 deterministic system；同樣輸入可能因 context、工具回應、模型版本與 prompt 細節產生不同結果。因此 production 前後都要有 eval，而不是只看 demo 是否成功。
好的 eval 不只回答「結果好不好」，也要回答「哪一步壞掉」「是否可自動驗證」「是否需要人工判斷」「失敗型態能否轉成下一輪修正」。
Verifiability 是 agent loop 的放大器
2026-05-18-Karpathy-Software-3-Agentic-Engineering 用 Jagged-Intelligence 補強本頁的上游判斷：這一代 LLM 更容易自動化「你能 verify 的東西」，而不只是「你能 specify 的東西」。
對 eval 的實務含義：
- 如果任務有 objective metric、測試、golden answer、可重放 trace，就能讓 agent 多次嘗試並篩出更好結果。
- 如果任務沒有驗證標準，AI 輸出即使看起來流暢，也很難形成可靠的改進迴圈。
- Agentic-Engineering 的核心不是讓 agent 自由發揮，而是先把任務設計成可評分、可停止、可回滾。
三個交叉維度
| 維度 | 兩端 | 用途 |
|---|---|---|
| 範圍 | End-to-End vs Component-based | 前者看整體體驗；後者定位哪個步驟壞掉 |
| 判準 | Objective vs Subjective | 前者可用 script / rule 驗證；後者需人工或 LLM judge |
| 資料型態 | Quantitative vs Qualitative | 前者看成功率、延遲、錯誤率；後者看幻覺、語氣、困惑點 |
實務上三者要一起用。例如客服 agent 不能只看最終滿意度，也要拆開看 order ID 抽取準度、API 錯誤率、政策遵守率、回信禮貌度與使用者在哪一步卡住。
LLM-as-Judge 的四種常見形式
| 形式 | 做法 | 適用情境 |
|---|---|---|
| Pair-wise comparison | 給兩個答案，問 judge 哪個較好 | 版本比較、模型比較 |
| Single-answer grading | 對單一答案打分 | 批量追蹤品質分數 |
| Reference-guided pair-wise | 給標準答案作參考再比較兩個輸出 | 有 golden answer 或 expert reference |
| Rubric-based | 先定義評分規準再讓 judge 評分 | 主觀品質標準要穩定時 |
Rubric-based 可再加 few-shot examples，讓 judge 更知道評分邊界。這與 Evaluator-Optimizer 不同：Evaluator-Optimizer 是生成 / 評估雙 LLM 的工作流 pattern；LLM-as-Judge 是 eval 系統中的一種評分機制。
質化工作要先做品味外化
2026-05-25-Gary-Chen-AI-Agent-27小時-Goal功能 補上 subjective eval 的創意 / 設計版本：圖好不好看、文章有沒有味道、網頁有沒有品味，不是不能 eval，而是要先把人的 品味外化 成維度、案例與反例。
影片轉述 Anthropic frontend design 相關做法，把「漂亮網站」拆成設計品質、原創性、技術執行與可用性四個維度，並故意加重模型弱項。這提醒 eval 不只是分數表，也是在校正模型的預設行為。
對前端 / 視覺輸出而言，judge 應看使用者實際會看到的畫面，例如用 Playwright 打開頁面、截圖後評分，而不是只看程式碼或文字描述。這讓 subjective eval 仍然回到可觀察輸出。
Subjective eval 的健康流程
2026-05-13-Stanford-AI系統課程 用 travel agent 禮貌度評估示範四步：
- Error analysis：先人工抽樣讀對話，找出真實問題長什麼樣。
- 設計 eval：把問題翻成 rubric，使用 LLM-as-Judge 或人工評分。
- A/B test model：固定 prompt，只換底層模型。
- A/B test prompt：固定模型，只改 prompt。
核心紀律：先人工掃出問題，再設計自動化 eval；一次只動一個變因。否則即使分數變好，也不知道是模型、prompt、資料或 judge 變動造成。
Eval 也是 observability
在 agentic workflow 中，eval 和 trace / observability 緊密相連：
- End-to-end 分數告訴你整體是否可用。
- Component eval 告訴你哪個步驟壞掉。
- Objective check 告訴你可自動驗證的硬錯。
- Subjective check 捕捉語氣、同理心、清晰度與 hallucination 類品質。
- Qualitative review 把未知 failure mode 轉成下一輪 rubric 或測試集。
因此 eval 不只是上線前測試，也是一個讓 fuzzy system 可被迭代的 feedback loop。
Harness 回饋中的評估層級
ihower 駕馭工程系列把 eval 放進 harness 的四個回饋時機中，讓評估不只是上線前測試，而是 agent 行動迴圈的一部分：
- 2026-07-06-Harness-3-工具回饋：工具層 eval 應把錯誤寫成 agent 能行動的訊息；成功也要回傳影響範圍、狀態與資料品質，避免
success: true造成假完成。 - 2026-07-06-Harness-5-Goal-Outcomes：turn-end eval 可從主模型自我審計、獨立小模型讀 transcript，到全新 context 的 artifact grader；獨立性越高通常越可靠，也越貴、越晚發現問題。
- 2026-07-06-Harness-7-自我改進：production trace、harness 爬坡與 skillify 都需要可自動打分的 eval；沒有 holdout / regression gate / rubric，所謂自我改進容易只是在鑽指標漏洞。
因此 eval 在 agentic system 內至少有三種時間尺度：單步工具檢查、單輪完成判定、跨版本 harness 改版判定。越往外層，eval 越像產品治理與 observability，而不只是模型評分。
與其他概念的關係
- 是 Agentic-Workflow 的品質配套：沒有 eval，agentic 系統只能憑直覺調 prompt。
- 是 Agentic-Engineering 的核心環境條件：metric / test / trace 決定 agent 能否安全大量試錯。
- 與 Jagged-Intelligence：模型強弱取決於任務是否可驗證與訓練分佈是否覆蓋；eval 用來把抽象能力邊界落到具體任務。
- 與 Evaluator-Optimizer：後者是固定 workflow pattern；本頁是更廣的評估系統，可包含 LLM-as-Judge、人工評分、script check、trace review。
- 與 Verbalized-Feedback：eval 產出的自然語言評論可成為下一輪模型 / prompt / harness 的 feedback。
- 與 AI-幻覺：幻覺不能只靠 prompt 壓低，還要靠資料限制、引用回溯與 eval 追蹤。
- 與 Prompt-Engineering：prompt A/B test 需要固定其他變因，否則無法判斷 prompt 是否真的改善品質。
- 與 Goal-Signal-Metric：agent eval 也需要從目標拆到可觀察信號與可量測指標；差別在於多了 subjective / qualitative 維度。
- 與 品味外化：主觀品質要先被拆成維度、正反例與權重，LLM-as-Judge 才能穩定執行。
- 與 Goal-Prompt：長任務 agent 的 verification 可以引用本頁的 eval / rubric，而不是只靠 agent 自我宣稱完成。
相關來源
- 2026-05-13-Stanford-AI系統課程 — 三維 eval 框架、LLM-as-Judge 四形式、subjective eval 四步、客服 agent eval case study
- 2026-05-18-Karpathy-Software-3-Agentic-Engineering — 補入 verifiability 作為 agent loop、RL 環境與工程師角色定位的核心
- 2026-05-25-Gary-Chen-AI-Agent-27小時-Goal功能 — 補入質化工作 rubric、品味外化、Playwright / screenshot 視覺評估與 judge 校準流程
- 2026-04-28-Anthropic-Building-Effective-Agents — Evaluator-Optimizer pattern 與 agent / workflow 評估語境
- 2026-05-02-Harness-Engineering駕馭工程 — feedback loop、verifier / evaluator / revisor 與 verbalized feedback 的 harness 視角
備註
建頁理由：MOC-LLM-應用設計 原本把「LLM 評估方法」列在未來方向；本來源第一次提供足夠完整的 production eval 框架，且能連到 Agentic-Workflow、Evaluator-Optimizer、Verbalized-Feedback、AI-幻覺 與 Goal-Signal-Metric，因此獨立成頁。
未來累積方向：(a) benchmark / golden set 建立；(b) LLM judge bias / calibration；(c) human-in-the-loop eval；(d) trace / observability 工具；(e) production monitoring 與 regression eval。