Jagged-Intelligence

一句話定義

LLM 能力呈現鋸齒狀分佈：在某些可驗證、被訓練分佈覆蓋的任務上極強，卻可能在看似簡單但缺乏驗證迴圈或訓練密度的情境中荒謬失誤。

核心要點

能力不是均勻上升

2026-05-18-Karpathy-Software-3-Agentic-Engineering 用「去 50 公尺外洗車場該走路還是開車」的例子說明：模型能解很難的數學或程式題，卻可能忽略「車要被洗，所以車也要到洗車場」這類常識約束。

這不是單純的 AI-幻覺，而是能力地形不平：同一個模型在不同任務上的可靠度差異很大。

verifiable + labs care

影片把 Karpathy 的觀察整理成兩個條件：

1. 任務可驗證：數學有標準答案，code 可以跑測試，安全漏洞可以驗證是否真的被利用。
2. 實驗室在意且放進訓練 / RL 分佈：資料與 reward loop 真的覆蓋該領域。

兩條都成立時，模型能力會快速飆升。只成立其中一條，或兩條都不成立時，模型表現可能很不穩定。

從 specify 到 verify

傳統電腦擅長自動化「你能 specify 的東西」：稅率、排序規則、狀態機、資料庫交易。LLM 擅長自動化「你能 verify 的東西」：答案可以打分、測試可以跑、輸出可以被比較、失敗可以形成 feedback。

這把 AI 任務選擇的第一問改成：

我能不能判斷它做對了？

能驗證，才有機會透過多次嘗試、LLM-Evaluation、Evaluator-Optimizer 或 Agentic-Engineering 迴圈放大產出；不能驗證，模型再強也容易變成不可控的猜測。

與其他概念的關係

• 與 LLM-Evaluation：Jagged Intelligence 是為什麼 eval 必要的原因；不同任務能力不同，不能用單一 demo 推論整體可靠性。
• 與 AI模型評測：模型選型要回到自己的真實任務，因為公開榜單只能反映部分能力地形。
• 與 AI-幻覺：幻覺是錯誤輸出的一種；Jagged Intelligence 更關心「哪些領域容易錯」與「為什麼」。
• 與 Prompt-Engineering：更好的 prompt 能改善輸出，但若任務位於模型弱區，真正需要的是工具、資料、驗證或人類判斷。
• 與 Agentic-Engineering：Agentic Engineering 的切入點就是把任務重新設計到可驗證區域，讓 agent 能安全試錯。
• 與 模型刷榜：榜單高分不代表所有任務可靠；能力鋸齒邊界會讓模型在非榜單場景露出弱點。

相關來源

• 2026-05-18-Karpathy-Software-3-Agentic-Engineering — Karpathy 訪談解析；提供 verifiable + labs care、洗車場例子與 specify / verify 對照。
• 2026-05-13-Stanford-AI系統課程 — 提及 BCG 顧問實驗與 Jagged Frontier，補上「AI 任務能力有鋸齒邊界」的商業應用脈絡。

備註

本頁暫以二手來源建立工作定義；後續若 ingest BCG Jagged Frontier 原研究或 Karpathy 原訪談，應校準術語來源與例子。