微軟推出一套新的開源工具套件，專注於運行時安全，以對企業AI代理施加更嚴格的治理。
該工具套件圍繞運行時安全構建，解決了現代語言模型不再僅限於諮詢角色，而是積極執行代碼並與內部系統互動的擔憂。傳統的安全措施，例如靜態代碼檢查和部署前掃描，難以跟上這些動態行為的步伐。
早期的人工智慧部署主要集中在具有受限只讀權限的輔助工具（copilots），讓人類負責執行。這種模式正在改變。企業現在正在整合能夠跨API、雲端環境和開發流程獨立行動的代理系統。
在這種設置中，AI代理可以在沒有人為干預的情況下解析電子郵件、生成腳本並將其部署到伺服器。一個有缺陷的指令或提示注入（prompt injection）可能導致意外的資料庫更改或敏感資訊洩露。新工具套件透過實時監控行為並即時介入，而不是依賴預設控制來解決這種風險。
該系統專注於AI代理如何與外部工具互動。當模型需要執行超出其內部處理範圍的操作時，例如查詢企業系統，它會生成一個指向該工具的命令。
微軟在模型與企業網路之間插入一個策略執行層。每個對外請求在執行前都會被攔截並根據預定義的治理規則進行評估。如果某個行為違反策略，例如代理試圖發起交易，儘管其權限僅限於只讀訪問，該請求將被阻止並記錄以供審查。
這種方法創建了一個可稽核的決策軌跡，同時也消除了開發人員將安全限制嵌入每個提示或工作流程的需求。治理從應用程式邏輯轉向基礎設施層面的控制。
該框架還充當傳統系統的緩衝，許多傳統系統並非為處理不可預測的機器生成輸入而設計。透過在請求到達核心系統之前進行過濾和驗證，它限制了受損或誤導性AI行為所帶來的風險。
微軟決定將該工具套件開源，這與當前的開發實踐相符。建立AI工作流程的團隊通常依賴第三方工具和模型的混合使用。專有解決方案可能會被更快的替代方案繞過。開放可用性使得這些控制能夠整合到不同的環境中，包括使用Anthropic等競爭對手模型的系統。
這也為網路安全公司開啟了大門，可以在該框架之上構建額外的監控和響應層，有助於為確保AI驅動操作的安全建立共享基準。
安全只是挑戰的一部分。自主代理也帶來財務和營運風險，尤其是透過不受限制的API使用。
這些系統以連續循環運行，對外部服務進行重複呼叫。如果沒有限制，即使是一個簡單的任務也可能觸發對付費資料庫或API的數千次查詢，迅速推高成本。在極端情況下，配置錯誤的代理可能會進入遞歸循環，在短時間內消耗大量計算資源。
該工具套件允許組織為代幣（token）使用和請求頻率定義嚴格的邊界。透過控制代理在給定時間段內的行動頻率，公司可以更好地管理開支並防止失控的程序。
運行時監管還透過提供可衡量的控制和清晰的稽核日誌來支持合規性要求。責任正從模型提供者轉向在現實世界環境中執行決策的系統。
推行此類治理框架將需要工程、法務和安全團隊之間的協調。隨著AI系統扮演越來越自主的角色，管理其行為的基礎設施對於安全部署變得至關重要。
此次發布伴隨著對AI基礎設施的持續投資。微軟最近概述了未來四年在日本投入100億美元的計畫，重點放在資料中心和支持系統。
這項宣布是在微軟總裁史密斯（Brad Smith）與日本首相高市早苗（Sanae Takaichi）在東京會談後發出的。史密斯將這項投資描述為「對日本日益增長的雲端和AI服務需求的響應」。
該公司正與軟銀集團（SoftBank Group）和櫻花網路（Sakura Internet）合作，擴展國內基礎設施。最新的承諾建立在2024年宣布的一項29億美元計畫之上，該計畫旨在加強該國的AI能力和網路安全韌性。
