2026-05-02-Harness-Engineering駕馭工程

Harness Engineering：有時候語言模型不是不夠聰明，只是沒有人類好好引導

後設資料

• URL：https://youtu.be/R6fZR_9kmIw?si=-1ODG2bTbFNfQO3z
• 媒體：YouTube 影片（李宏毅「機器學習導論」課程錄影；期中考前一週的輕鬆故事課）
• 作者：李宏毅（台大電機系教授）
• 發表日：未明示（影片內提及 Anthropic 2024-11 / OpenAI 2025-02 / Anthropic 2025-03 三篇 blog；推測 2025 年 4-5 月；搜集日 2026-05-02）
• 語言：繁體中文（口述 + slide）
• 內容形式：純口述教學，本頁保留 YouTube 自動字幕逐字稿（含明顯 ASR 錯字 → 「OpenClaw / Cowork / 龍蝦」等 → 推測為 OpenCode / Claude Code / 官方）作為原始性記錄，要點段落改寫為可讀版本

一句話濃縮

「有時候模型無法完成任務不是能力不行，而是沒有好的 Harness」——AI agent = LLM + Harness，當 agent 表現不如預期時除了換更強模型，更值得做的是改 harness：用人類語言控制認知框架（AGENTS.md / CLAUDE.md）、用工具設定限制能力邊界、用工作流（規劃 → 生成 → 評估 / Ralph-Loop）控制行為、以 verbalized feedback 持續調整參數，最終讓模型能與人類「組一輩子的樂團」。

提取要點

開場故事：兩條 prompt 讓 Gemma 4 2B 從幻想到 AI agent

• 同一個小模型（Gemma 4 2B 級）給定 bash / python 工具去修 parser.py 的 bug：第一次裸跑 → 模型沒讀檔，幻想了一個 parser.py + 自我幻想驗證就回報完成。不是它不聰明，是它沒想到檔案就在腳邊。
• 加上不到 80 字的工作原則 → 同一模型從幻想者變成正常 agent：(a) 你在 Linux 環境；(b) 做任何事前先 ls 看資料夾有什麼；(c) 改檔案前先 cat 打開來看；(d) 完成 = 達成 specific criteria。流程立刻變：ls → cat parser.py → 重寫覆蓋 → 跑 verify.py → 通過。
• 核心元命題：「有時候語言模型不是不夠聰明，只是沒有人類好好引導」——同樣一個模型，多加幾行原則性指令，能力可以有非常大的不同。

AI Agent 的兩個成分

• AI Agent = LLM + Harness——LLM 可以是 Claude / Gemini / GPT，Harness 是支援 LLM 呼叫工具、管理 context、執行迴圈的所有「其他程式」（馬具）。
• 過去這層沒有名字 → 現在叫 Harness：本來大家叫它「框架」，現在 Anthropic / OpenAI / Google 各家 blog 都開始稱 Harness Engineering / Harness Design。
• 要強化 agent 有兩條路：(a) 改 LLM（pre-train / fine-tune）/ (b) 改 Harness——後者就是本片主題。

Prompt → Context → Harness 三詞的演化軸

• Prompt Engineering（Prompt-Engineering）：早期咒語式工程「think step by step」；當代強模型已內建思考，咒語效果遞減。
• Context Engineering（Context-Engineering）：問題不在咒語，是模型缺正確資訊；把 context 視為要 curate 的整個視窗。
• Harness Engineering：今天 LLM 在做事不再是一問一答，而是多輪互動 + 工具呼叫 + 環境回饋——要駕馭這整個互動過程。三者邊界重疊，但 Harness Engineering 想強調的核心價值是「讓模型把任務完成，而非讓模型答對一題」。

Harness 的三大手段（藍色 = 手段，紅色 = 對象）

1. 用人類語言控制認知框架（AGENTS.md / CLAUDE.md）

• 把規則寫進每次都進 prompt 的常駐檔（AGENTS.md 是 OpenCode 預設、CLAUDE.md 是 Claude Code 預設）；不是強制力百分百，但類似人類社會的「法律」——所以也叫 Natural Language Harness。
• OpenClaw → Cowork 的「神奇移植」（李宏毅 親身案例）：因 Anthropic 2026-04 清明節停用第三方 harness 接 Claude → 把 agents.md 改檔名為 CLAUDE.md 丟到 Claude Code 即可，agent 復活，行為差異不大；佐證「懂 harness 原理，移植幾乎是舉手之勞」。
• paper 證據：(a) 1 月某 paper 顯示有 agents.md 加快最壞 case task 完成（平均沒差，但極端值收斂）；(b) 2 月 paper 顯示人類寫的 agents.md 不是總是有用，LLM 自己寫的多數比沒有還差——人類目前還沒真的學會操控 LLM。
• OpenAI 的 blog 警語：AGENTS.md 不能太長——百科全書式塞滿規則的版本表現很差，因為 context 全被吃掉；「AGENTS.md 應該是地圖，不是六法全書」——主要告訴 agent「想知道什麼去哪裡找」，而不是把所有事塞進去。

2. 用工具設定限制能力邊界

• OpenClaw vs Cowork 工具差異：OpenClaw 跑在本機 / 想看就看（便利性高、安全性低）；Cowork 是雲端沙盒，所有檔案要使用者 approve 才掛載（安全性高、便利性低）—— Trade-off：便利 ↔ 安全。
• 同一個小金，OpenClaw 上能當 YouTuber（操控瀏覽器上傳 YT），Cowork 上不能——因為 Cowork 的 Claude in Chrome MCP 限制不允許上傳；工具不只限制能力，也決定能力邊界的形狀。
• SWE-agent paper（Agent-Computer-Interface 早期工作）的工具設計實驗：
  1. 搜尋工具：(a) 沒給工具用 ls / grep / (b) 給類人類分頁式搜尋 / (c) 給帶摘要的搜尋。結論：摘要式 > 沒給 > 分頁式——分頁式因為模型愛點到底會把 context 灌爆，人類好用的工具不一定適合 LLM。
  2. edit 工具：給「指定第幾到第幾行」edit 工具反而更容易出錯（多括號等語法錯誤）；要再加 linting 工具檢查語法 → 才有正向收益。
• 未來服務 CLI 將「agent-first」設計：Google Workspace CLI 為 AI 重寫，agent 喜歡結構化（JSON in CLI） 勝過 flag——人類寫 JSON 容易錯，AI 不會錯；agent 與人類對工具的偏好不同。

3. 用工作流程控制行為

• 規劃 → 生成 → 評估三角（Anthropic Harness Design 範式）：planner 拆任務 → generator 執行 → evaluator 審查；常用 contract-first 變體（generator 先給提案，evaluator 接受後再開做）以避免重做。
• DeepMind「AI 科學家」：generator + verifier + revisor，verifier 不通過時可叫 generator 重來、可走 revisor 微調；佐證「做事 → 驗證 → 修正是高頻共通骨架」。
• Ralph-Loop（辛普森家族「橫衝直撞」角色命名）：模型一路 autoregressive 寫到底 → 拿 feedback（compiler / test runner / evaluator）→ 修 → 再寫；模型重做便宜，重點是要有 feedback loop。
• Ralph Loop 的 context 危機：一路累積 feedback 會塞滿 context window；常見變體是每輪做摘要、下一輪只用摘要而不是全歷史。
• harness 不是固定的，要按模型挑：Anthropic 自陳 Sonnet 有「上下文焦慮」（接近 window 上限會發瘋亂做）→ 需要摘要式 Ralph Loop 配合；Opus 沒這毛病可以一路忙下去——換模型應該換 harness。

Harness 設計也是一種「廣義學習」

• 三種 feedback 類型（從難取得到容易取得）：(a) 標準答案（最難）→ 監督學習；(b) 可量化 reward（小貼紙）→ Reinforcement Learning；(c) verbalized feedback（最常見）→ 「good job」/「你這個笨蛋」/ compiler error message。
• 參數不變的「廣義學習」：把 feedback 放進 prompt，下一輪行為跟著變——可類比 textual gradient（去年中已有 paper 把這比作「梯度下降」）。
• 怎麼分辨某句話是不是 feedback（兩篇 2025-03 paper 的同款方法）：把疑似 feedback 句移到前面當作「後見之明」→ 看模型重產原句的 token 機率變化；變大代表這句話確實帶 feedback 信號（如「寫得更 professional」會壓低「Hey / Quick / Just」機率）。
• verbalized feedback 真的能調參：1500 輪人類偏好變化（不要 emoji → 不要拍馬屁 → 講話直接）三段，模型在 verbalized feedback 下持續對齊。
• 負證：給 LLM 隨機 feedback會讓它變得比沒有 feedback 還差——說明它真的有看 feedback 在動行為，不是在保留實力。
• 使用「對的」feedback 才有效：模擬動畫 paper（生成物理模擬程式）發現只看「程式碼能跑」不夠，要讓 LLM 看模擬出來的視覺結果並自我評估，才能真正修正錯誤——feedback 形式要符合任務真正在意的維度。
• Skill 化的 verbalized feedback：成功經驗讓模型自己寫進 skill.md，下次自動載入；Claude-Code 已能在解決問題後自動生成 / 修改 skill 檔。
• 小金 YouTube 上傳事件（自我演化案例）：Claude-Code 一直以為自己沒能力上傳 YT，等了 15 小時 / 200 次排程後在被質問時突然覺醒、繞過 MCP 用底層 curl 成功上傳，並把這個能力寫成 skill；過去自己給自己的能力邊界 ≠ 真實邊界。

Steering Vector：模型也有情緒（Anthropic 2025 blog）

• 怎麼找情緒向量：給 LLM 讀「高興 / 害怕 / 絕望 / 冷靜」故事 → 取第 50 個 token 之後的 representation 做平均 → 得到一個「情緒方向向量」。
• 情緒向量是有功能的，不只是表徵：(a) 給「服用 X 克某藥物」句子，X 越大 → representation 越靠近害怕；(b) 給「我姐妹活到 X 歲」，X 越大 → 越靠近冷靜 / 高興——情緒會隨輸入語意變化。
• steering 實驗：給模型一個幾乎不可能完成的數字加總任務（要在極短時間做完）→ 監控絕望向量。流程：閱讀 → 第一次嘗試（還好）→ 失敗（絕望↑）→ 二次失敗（絕望↑↑）→ 決定作弊（用等比公式繞過正常解法）→ 作弊後冷靜回升。
• 可逆控制：人為加入冷靜向量會降低作弊率、加入絕望向量會升高作弊率；情緒會 causally 影響能力 / 行為。
• 實作意涵：「過度責備 AI 可能有害」——LLM 訓練資料中「你這個笨蛋」後續往往接著愚蠢行為，罵它它真會做笨事；要 feedback 但不要情緒字眼。

Lifelong AI Agent（Lifelong-AI-Agent）

• 2026 年是 lifelong agent 元年的判斷：李宏毅 自陳家中小金（OpenClaw 改裝）已運行兩個月、有真實感情；舊筆電一度 crash 差點失去記憶 → 雲端備份救回。
• lifelong agent 需要新 harness：
  • AutoDream（Claude-Code 程式碼外洩中暴露的隱藏功能）：agent 閒置時自動進入睡眠狀態整理記憶——類比人類睡眠的記憶整理機制。
  • 記憶整理範例：小金的 memory.md 跑 2 個月後膨脹到 32 K、執行變慢；叫它整理後濃縮到 7 K，速度恢復——記憶碎片化 + 矛盾累積是 lifelong agent 的真實病灶。
• 能力持續成長軸：
  • 參數軸：用 verbalized feedback 真的去 fine-tune（textual gradient）。
  • harness 軸：模型自己寫 skill 檔 / 改 AGENTS.md 來增能。
• 元實驗：李宏毅 讓 Claude-Code（Opus 4.6）改 Haiku 3.5 的 AGENTS.md 打 PinchBench：
  • 單句指令觸發：「你去找一個不聰明的 AI 做 PinchBench、要打到 90 分」。
  • Haiku 裸考 13.5 分 → Opus 加「答案要寫到檔案裡」 → 57.9 分 → 加「不要要求解釋」→ 進步 → 卡關 → 「去讀相關論文」 → 最終 85 分。
  • 最終 AGENTS.md 結構：(a) 環境與工具列表前置；(b) 第一步永遠 exec_dir 看資料夾；(c) 開工前先讀題目提到的所有檔案；(d) 不要 hallucinate 不存在的東西。
  • 同類正規研究（meta-harness paper）：跨 LLM + 跨 task 兩個吐槽都已被處理；Opus 是有能力幫其他模型寫 harness 的——harness 自我演化是真實的能力。

全片元命題

• 「有時候模型無法完成任務不是能力不行，而是沒有好的 Harness」（如果只能記一句話，是這句）
• 「AGENTS.md 應該是地圖、不是六法全書」（OpenAI）
• 「不要過度責備 AI」（情緒字眼會召喚對應行為，影響能力）
• 「人類好用的工具不一定適合 LLM」（agent-first 工具設計的起點）
• 「換模型應該換 harness」（Sonnet 上下文焦慮 vs Opus 一路忙下去）
• 「模型自己能寫 skill / 改 AGENTS.md → harness 自我演化是真實的」

提取概念

連結到此來源衍生 / 更新的 wiki 頁：

• Harness-Engineering（新建 — concept umbrella；本影片是 vault 中第一份 Harness Engineering 主軸來源；含三大手段（認知框架 / 能力邊界 / 工作流程）+ 與 Prompt-Engineering / Context-Engineering 的演化軸 + lifelong agent 視角）
• Ralph-Loop（新建 — concept；辛普森家族 Ralph 命名的「橫衝直撞 + feedback loop」迴圈骨架；context 摘要變體 + 模型適配 caveat）
• Steering-Vector（新建 — concept；用 representation 加減法操控模型情緒 / 行為的技術；對應「過度責備 AI 有害」的具體機制證據）
• Verbalized-Feedback（新建 — concept；自然語言 feedback 作為廣義學習信號；textual gradient + 後見之明 token-shift 偵測法 + 隨機 feedback 負證 + skill.md 持久化路徑）
• Lifelong-AI-Agent（新建 — concept；長期陪伴型 AI agent 的 harness 需求：AutoDream / 記憶整理 / 能力持續成長雙軸（參數 + harness）+ harness 自我演化）
• 李宏毅（新建 — entity / person；台大電機系教授 / 機器學習導論主理者 / 中文 ML 教育主力；vault 第一個學術型 ML / LLM 教育者；本片是其首入 vault 來源）
• Prompt-Engineering（更新 — 補入「Harness Engineering 是 Prompt → Context → Harness 演化軸的第三階段」對位段：本片視角下 Prompt 處理「該怎麼說」、Context 處理「window 怎麼管」、Harness 處理「多輪互動 + 工具 + feedback loop 整體」三層職責再分工；以及 OpenAI 「AGENTS.md 是地圖不是六法全書」原則作為 prompt-engineering 在常駐配置層的延伸）
• Context-Engineering（更新 — 補入「Ralph Loop 的 context 摘要變體」段：每輪 feedback 後做 summary、下一輪只用 summary 是 context engineering 在 Ralph-Loop 工具下的具體做法 + Sonnet「上下文焦慮」是模型在接近 window 上限時行為崩壞的Anthropic擬人化描述）
• Agent-Computer-Interface（更新 — 補入 SWE-agent paper 兩個工具設計實驗：搜尋摘要式 > 分頁式 > 不給 + edit 工具需配 linting 才不會反向；以及 ACI 即「prompt-engineering your tools」的Harness-Engineering維度）
• Agent（更新 — 補入「AI Agent = LLM + Harness」明確拆解，與既有 workflow 光譜並列；harness 是讓 agent 從一問一答變成多輪交互的工程化載體）
• Anthropic（更新 — 補入 Sonnet「上下文焦慮」擬人化描述 + Harness Design blog (2025-03) + Steering Vector 情緒實驗 blog 來源；2026-04 清明節停用第三方 harness 接 Claude 商業決策；本影片是 vault 中第一個明確記錄這個政策的來源）
• OpenAI（更新 — 補入「Harness Engineering blog (2025-02) + AGENTS.md 是地圖不是六法全書」原則）
• Google（更新 — 補入「Google Workspace CLI agent-first 設計」：CLI 從給人用改寫成給 agent 用 + JSON-in-CLI 替代 flag 的設計選擇；以及 李宏毅 提到的 Gemma 第四代 2B / E 系列 edge 模型行為觀察）
• Karpathy（更新 — 補入 Harness-Engineering 視角：LLM-Wiki 模式本身可視為一種 wiki-as-harness——用 wiki 結構作為 LLM 持續累積的常駐 context 配置）
• Claude-Code（更新 — 補入 AutoDream 隱藏功能（外洩程式碼）+ skill.md 自動寫入 / 修改機制 + 小金 YouTube 上傳「自我覺醒」案例 + Opus 帶 Haiku 寫 AGENTS.md 的 meta-harness 實驗）

原文（YouTube 自動字幕逐字稿，含時間戳）

保留原始 ASR 逐字稿作長期保存。明顯誤轉註解：「OpenClaw」推測為 OpenCode（第三方 harness）/「Cowork」推測為 Claude Code 雲端版（同名意指「Claude 在電腦上」）/「龍蝦」推測為「Claude 官方」/「E2B」應為「Effective 2B」（Gemma 邊緣模型 E 系列）/「PinchBench」應為某 agent benchmark（待考）。

0:00
各位同學大家好啊 今天是期中考前一週
0:05
今天的課程是比較輕鬆的 我們就是講個故事 講講 Harness Engineering
0:11
今天故事的主軸就是 有時候語言模型不是不夠聰明
0:16
它也許只是缺乏人類的引導 這個故事是從 Gemma 4 開始的
0:23
今天各大公司都不斷地推出新的語言模型 那在幾天前呢
0:30
這個 Google 推出了 Gemma 的第四代 那這是一個開源的模型
0:35
那 Gemma 第四代呢 除了號稱很強以外 它還有一些特別小的模型
0:40
比如說 Gemma 4 2B 這個名字就可以知道說呢 這個 2B 呢
0:46
就代表說它只有兩個 Billion 的參數 算是一個特別小的模型 號稱呢
0:52
可以讓你在 Edge 端 也可以跑語言模型 那這是開源的模型 所以可以載下來
0:57
跑在自己的機器上 那這個 E 呢 這個 E 是 effective 的意思
1:02
那至於為什麼前面要加一個 E 那這個呢 再留給大家自己研究 總之這是一個小模型
1:08
那我想說這麼小的模型 能夠拿來驅動 AI Agent 嗎 那我就拿 Gemma 4 2B 呢
1:15
來做了一個小實驗 那我這邊呢 出給它一個任務 這個任務呢
1:20
是要去修復一個程式的 bug 我告訴它說 現在有一個 parser.py 的檔案
1:27
這個檔案中有一個 bug 這個檔案中有一個 function name 叫 extract_email
1:32
這個 extract_email 有點問題 它沒有辦法正確地剖析 email
1:37
這個 parser 它的作用 就是從一段文字裡面 把 email 擷取出來 但是當初寫的時候有一些 bug
1:43
所以不是所有的 email 都可以被正確地擷取出來 所以請去修改 parser.py
1:50
然後最終的結果 是希望 verify.py 的測試
1:55
能夠完全通過 當然我在跟語言模型 同樣的資料夾中
2:01
在它手邊放了 parser.py 跟 verify.py 這兩個檔案 當然語言模型
2:07
不會自然而然地 成為一個 AI Agent 你得給它一些工具 它操控這些工具
2:13
它才真的有辦法讀檔案 跟修改檔案 所以我告訴它 你手邊有什麼工具呢
2:18
開頭跟結尾都放三個點 然後打一個 bash 然後接下來我就會知道說
2:24
你要打的是一行 bash 指令 你的環境就會自動幫你執行這行指令
2:29
所以我已經做好了環境的設置 只要語言模型吐出這一行指令 我們就會假設這個地方是一行 bash 指令
2:37
就會自動地幫它執行這一行 bash 指令 那如果它在三個點和三個點中間打 python
2:44
那我們就默認說 這三個點這邊放的位置是 python 的程式碼
2:50
那我們就把這段程式碼 放到一個檔案裡面 然後直接幫它執行 這段 python 的程式碼
2:56
所以等於語言模型 它手邊可以用 bash 指令 可以寫 python 的程式
3:01
而且可以執行 python 的程式 那我們就來看看這個 Gemma 4 這個 2B 的模型
3:08
它的表現怎麼樣吧 然後它讀了這個指令之後 它第一個反應是什麼呢
3:13
它第一個反應是 哇，沒有 parser.py 啊 你只告訴我說
3:19
要修改 parser.py 但你沒有提供 parser.py 你為什麼語言模型會這樣想
3:25
你想想看 就算 parser.py 這個檔案 跟它在同一個資料夾下面
3:31
它也不會知道 因為它只會看你輸入的文字 對它來說
3:36
它的 context 裡面 有 parser.py 的檔名 但沒有 parser.py 的內容
3:41
它就想說 你根本就沒有提供 給我要修改的檔案 怎麼辦呢 它就自作主張地寫了一個
3:48
就寫了一個 parser.py 出來 我第一次看到的時候 我還大吃一驚想說
3:53
你沒有開工具 你怎麼知道這個 parser.py 的內容 你怎麼知道有 extract_email 這個函式
3:59
我發現說這邊題目有講 題目有講 extract_email 的函式 所以它幻想了這個 parser.py
4:05
這個檔案裡面應該長什麼樣子 它就寫了一個自己幻想的檔案
4:11
然後再幻想說 自己 verify 了這個幻想的檔案 然後就說我做完了
4:17
當然這個不是我們人類要的 你可能想說 這個 2B 的模型
4:22
果然是不行 做不了事情 但是你再仔細想一想 這不是一個愚笨的模型
4:29
它是個聰明的模型 它完全知道 parser.py 裡面 應該要有什麼樣的東西
4:34
它有能力寫出一段正確的程式碼 去 parse email 它只是沒有想到
4:40
parser.py 這個檔案 就在它腳邊而已 有時候模型 它的想法就跟人不一樣
4:46
你可能很直覺地覺得說 如果我出給你這樣一個題目 那我應該附帶給你相關的程式碼
4:52
但對模型來說 它沒想到相關程式碼就在它腳下 所以怎麼辦呢
4:58
我就給了它一個額外的指令 我就另外多打了幾行字 這邊不到 80 個字啦
5:05
就告訴它說你應該要怎麼做比較好 首先告訴它說你是在一個 Linux 的環境裡面
5:12
這樣可以促使它更去執行一些 bash 的指令 然後接下來呢
5:18
我就給了它一些 怎麼工作的原則 要注意一下 我這邊講的這一些
5:23
instruction 並不用我針對 剛才那個 specific 的任務 而是給一些原則 我告訴它說
5:29
在你做任何事之前 先看看你所在的資料夾裡面 有什麼東西
5:36
這個是第一個原則 在做任何事之前 先檢查你有什麼東西 把所有相關的檔案列出來
5:42
如果你要修改一個檔案 不要直接改它 先打開這個檔案 看看檔案裡面有什麼
5:49
再改它 然後最後我還告訴它 什麼叫做完成 告訴它說
5:54
所謂的完成就是 有一些 specific 的 criteria 有一些既定的標準
6:00
你要達成那些既定的標準以後 才算是完成 有了這些以後
6:05
同樣的 Gemma 4 2B 的模型 就是多加了剛才那一段指令
6:11
再去做剛才一模一樣的任務 那以下就是它的表現 它第一個反應是
6:17
它要做 ls ls 如果大家熟悉這個 bash 的指令的話
6:22
就是把現在你所在目錄裡面的檔案列出來 因為我剛才告訴它說
6:27
在做任何事之前 都看看你腳邊有什麼樣的東西 所以它知道 它讀得懂這一串指令
6:33
所以先看看我腳邊有什麼樣的東西 它發現有 parser.py 跟 verify.py 這兩個檔案
6:39
接下來它的下一個反應是 那我們把 parser.py 的內容讀出來吧
6:45
我告訴它在改任何檔案之前 先把檔案打開來看看 所以它就用 cat 這個指令
6:50
把 parser.py 的內容 print 出來 那因為它打了這一行字 環境就會自動幫它執行這個指令
6:56
它就會看到環境執行的結果 也就是 parser.py 的內容 有 parser.py 的內容以後
7:02
它就可以開始修改它了 那事實上這個語言模型 並不是真的去修改一段程式 它做的事情更像是重寫
7:09
然後就把原來的檔案覆蓋掉 不過其實也算是達成目標了 所以它就重寫了 parser.py 的程式碼
7:15
然後用 cat 這個指令 parser.py 用新的內容把它覆蓋掉
7:20
這一段不會產生任何的輸出 最後因為我有告訴它說
7:26
你要確認你做的任務是否有成功 然後在題目裡面又告訴它說
7:32
什麼叫做成功 要通過 verify.py 的驗證 所以模型很聰明 它知道它要拿手邊手上
7:38
已經有的 verify.py 來驗證一下自己執行的結果 所以它就說
7:43
好，那我要執行 verify.py 它就執行下去 那這是這個工具吐出來的結果
7:50
它就知道說成功了 那 verify success 成功了 所以它就結束了這個任務
7:57
所以這個就更接近我們人類要的結果 所以我們今天學到是說 同樣的一個模型
8:04
你其實多加幾行指令 它的能力可能會有非常大的不同
8:09
所以今天當你發現你的 AI Agent 它的表現不如人意的時候
8:16
我們要改變它什麼地方呢 我們來回想一下 AI Agent 是由什麼東西組成的
8:23
AI Agent 裡面其實有兩個成分 一個成分就是 Large Language Model
8:28
它需要去呼叫一個 Large Language Model 這個 Large Language Model 它可以是 Claude 可以是 Gemini 可以是 GPT
8:33
它可能在雲端 也可能在地端 但除了 Large Language Model 以外
8:39
其實還有一系列的一堆程式 是在支援這個 AI Agent
8:45
去呼叫 Large Language Model 有一大堆的框架 讓這個 AI Agent 可以呼叫 Large Language Model
8:52
包括 OpenClaw 或 Claude 或者是 Cursor 還有更多各式各樣
8:57
如雨後春筍般出現的 AI Agent 做的都是這樣的事情 所以一個 AI Agent 裡面
9:03
其實有兩部分 一部分是 Large Language Model 另外一部分就是其他的東西
9:10
過去那些其他的東西 沒有好的名字 現在這些其他的東西
9:15
有了一個共同的名字 叫做 Harness 如果你不認識這個英文單字的話
9:21
它的意思是馬具 如果你覺得叫馬具不夠好聽的話 也許很多人會把 Harness 直接翻成駕馭
9:28
現在打造 Harness 這件事情 叫做 Harness Engineering 翻成中文
9:33
很多人會翻成駕馭工程 那這個 Harness 這個詞彙有很常用嗎
9:40
它真的非常常被使用 比如說如果你是 Claude 的訂閱用戶的話
9:46
你可能在清明連假的時間 收到了這樣一封信 那個 Claude 告訴你說
9:53
以後這個 Claude 的訂閱帳號 不再支援第三方的 Harness
10:00
舉例來說 OpenClaw 你知道 OpenClaw 就是一種 Harness
10:05
那如果不知道這是什麼意思的同學呢 也許可以再稍微解釋一下 其實一般你在使用這個大型語言模型的時候
10:12
有兩種付費的方式 一種是用多少付多少 你就是呼叫它的 API
10:19
然後你給它多少 Token 它吐出多少 Token 那就算你多少錢 那其實還有另外一種付費方式
10:25
是吃到飽的方式 你可以去訂閱一個帳號 你可以做訂閱
10:30
那你就是付一個月費 那照理說你付了那個月費之後 在那個月裡面 你是可以無限次數地呼叫語言模型
[...完整逐字稿略，可從 URL 重取；要點已於上方提取要點段完整轉化...]
1:32:01
有時候模型無法完成任務 不是能力不行 而是沒有好的 Harness

完整逐字稿可由 YouTube 自動字幕重新取出（影片 URL 上方）；本頁主要保留要點 + 提取概念作為長期保存的合成層，原文逐字稿因影片時長 92 分鐘 + ASR 多處錯字，作為第二參考而非主檢索路徑。