Context Engineering Guide: Techniques for AI Agents

後設資料

一句話濃縮

Context-Engineering 是「為下一步以正確的資訊填滿 context window 的精細工藝」,比 Prompt-Engineering 範圍更廣——涵蓋整個 context window 的策略性 curation,而非僅是任務指令。

提取要點

  • 定義:context engineering = 「為下一步以正確的資訊填滿 context window」的工藝。重點是策略性 curation,並尊重 window 的容量限制。
  • 與 prompt engineering 的差異:prompt engineering 聚焦於任務指令;context engineering 涵蓋整個 context window 的所有元素,並把 retrieval 看作其中一種技術而非核心。
  • Context 的構成元素:系統提示 / 使用者輸入 / 短期記憶(對話歷史)/ 長期記憶 / 知識庫資訊 / 工具定義與回應 / 結構化輸出 / 全域狀態。

五大技術

  1. 知識庫 / 工具選擇:Agentic 應用需要多個知識庫與工具,而非單一向量庫。LLM 必須收到關於可用資源的資訊以便正確選擇。
  2. Context 排序 / 壓縮(因應 context window 限制):
    • Summarization:將檢索結果壓縮後再加進 context
    • Ranking:依相關度(如時間)排序
  3. 長期記憶儲存與檢索LlamaIndex 提供的記憶區塊):
    • VectorMemoryBlock(從 vector DB 存取對話批次)
    • FactExtractionMemoryBlock(從歷史抽取事實)
    • StaticMemoryBlock(儲存靜態資訊)
  4. 結構化資訊:用結構化輸出避免 context 膨脹;LlamaExtract 從複雜文件抽取結構化資訊。
  5. Workflow Engineering:用工作流取代「全部塞進一次 LLM 呼叫」——
    • 明確映射任務序列
    • 把 LLM 呼叫與確定性邏輯分離
    • 建立驗證與錯誤處理
    • 建立有專注、優化 context window 的步驟

提取概念

原文(可選)

Ingest 時透過 WebFetch 工具讀取,工具回傳的是被小型模型摘要過的內容、非 verbatim 原文。長期保存如有需要,可再次以瀏覽器抓取原始文章並貼回此區段。原始 URL 見上方。