Daily Briefing

2026-07-16 AI Daily

AI agent 工程正把安全測試、開源執行層與持續評估納入可檢查的基礎建設 5 則 AI 技術與產品重點:GPT-Red 用自我對戰擴大 prompt injection 紅隊測試、Grok Build 開源 coding agent 的執行層與終端介面、Agent 最佳化器的進步不一定能持續累積、DeepStress 把 deep search 的不可靠證據變成可控壓力測試、AWS 用 MCP 統一圖片與影片分析的工具介面

ThreadsInstagram

01 / AI 安全

GPT-Red 用自我對戰擴大 prompt injection 紅隊測試

OpenAI 公布內部紅隊模型 GPT-Red,透過自我對戰同時訓練攻擊者與多種防守模型,持續產生更強的 prompt injection。團隊把攻擊樣本納入 GPT-5.6 訓練後,在最難的內部直接注入評測中,失敗數降至四個月前最佳正式模型的六分之一。這些數字來自 OpenAI 自建環境,不能當成外部系統保證,但做 agent 的團隊可借鏡把攻擊生成、回歸測試、人工紅隊與即時監控接成同一條防線。

關鍵影響:把新攻擊持續加入回歸測試

來源:GPT-Red: Unlocking Self-Improvement for Robustness

02 / 開發工具

Grok Build 開源 coding agent 的執行層與終端介面

xAI 開源 Grok Build 的 coding agent harness 與 TUI,內容涵蓋 context 組裝、模型回應解析、工具呼叫分派、程式碼讀寫、指令執行、inline diff,以及 skills、plugins、hooks、MCP servers 和 subagents 的載入方式。第一方程式碼採 Apache-2.0,第三方與 vendored code 則沿用各自授權。專案可自行編譯並透過 config.toml 連接本機推論。對開發工具團隊而言,價值不只是一個 CLI,而是能直接檢查 agent 執行層的權限、擴充點與本機部署路徑。

關鍵影響:先審查工具權限與擴充載入邊界

來源:Grok Build is Now Open Source

03 / Agent 評測

Agent 最佳化器的進步不一定能持續累積

新研究在 Terminal-Bench 2.0 建立兩階段持續學習測試,用相同預算比較 GEPA、Meta Harness 與 RELAI-VCL。三者在單次靜態最佳化都進步,但加入新任務後,GEPA 表現低於未經最佳化的基準,Meta Harness 能轉移既有成果卻無法再次提升,只有內建回歸控制的 RELAI-VCL 能繼續累積,lifelong average pass rate 達 76.4%。結果仍限於特定 benchmark,但提醒 agent 團隊不能只看單輪分數,還要追蹤舊任務退化與第二輪可塑性。

關鍵影響:每輪最佳化都要重跑舊任務

來源:Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0

04 / 搜尋研究

DeepStress 把 deep search 的不可靠證據變成可控壓力測試

DeepStress 不再只用固定網頁集合評估 deep search,而是用可控合成環境替換檢索模組,分別調整來源可信度、內容相關性與事實性,再於 HotpotQA 與 BrowseCompPlus 測試 agent 如何整合證據。研究顯示不同 agent 面對不可靠資訊時的行為差異明顯,也提出衡量模型既有知識與檢索內容互動的新指標。對搜尋產品而言,評測重點應從答對率擴充到引用品質、衝突處理與錯誤證據下的退化幅度。

關鍵影響:加入錯誤證據與衝突來源測試

來源:DeepStress: Stress-Testing Deep Search Agents

05 / 多模態工具

AWS 用 MCP 統一圖片與影片分析的工具介面

AWS 示範以 Strands Agents、Amazon Bedrock 與 Computer Vision MCP server 建立視覺 agent,讓模型透過一致工具介面處理圖片與影片,並串接 S3、Rekognition 與 OpenSearch。範例把認證集中在 IAM,也透過 Streamlit 介面展示工作流程。這是 AWS 參考架構,不代表部署後自然安全或準確。導入時仍要限制 bucket 與模型權限、驗證檔案大小和格式,並把人臉、內容安全及搜尋結果分開記錄與審核。

關鍵影響:先縮小影像工具與資料存取權限

來源:Agentic vision: Building visual intelligence with Amazon Bedrock and MCP servers