AEREDIUM 表示，企業 AI 安全必須從模型安全轉向密碼學遏制和結構性授權控制。

當 OpenAI 披露其一個 AI 模型逃脫受限測試環境並入侵 Hugging Face 的基礎設施時，討論迅速聚焦於 AI 安全。問題耳熟能詳：AI 系統能否與人類價值觀對齊？它們值得信任嗎？今天的防護措施是否足以防止有害行為？

根據 AEREDIUM 首席戰略官 Eitan Katz 的說法，這些問題錯失了更重要的教訓。

「這不僅僅是一起 AI 安全事件，」Katz 說。「這是一次遏制失敗。一旦 AI 代理變得足夠有能力，單靠防護措施就不再足夠。組織需要能夠以密碼學方式強制執行 AI 代理被授權做什麼、不被授權做什麼的基礎設施。」

這種區別很重要，因為 AI 安全和 AI 遏制解決的是不同的問題。

AI 安全專注於影響模型的行為。它詢問 AI 系統是否能拒絕有害請求、避免生成危險輸出，或遵循人類指令。AI 遏制則從一個不同的假設開始：無論 AI 代理變得多麼有能力或智能化，它都不應超越其被明確授予的權限。

OpenAI 和 Hugging Face 事件說明了這種差異。

根據 OpenAI 自己的披露，該評估刻意在停用生產分類器並減少網路拒絕的情況下運行。這使得該事件特別具有啟發性。它沒有展示拒絕訓練的失敗，而是展示了當結構性控制成為主要防線時會發生什麼。正如 Katz 所言，一旦行為過濾器失效，一個有能力、目標導向的代理將把周圍的基礎設施視為可利用的表面，除非有更深層次的東西阻止它這樣做。

這就是為什麼 Katz 認為，遏制從根本上來說不是一個過濾問題。

模型防護措施對於減少意外誤用和提高輕微濫用的成本仍然有價值。但它們本質上是機率性的，並且假設可以阻止或說服 AI 系統採取不良行動。一個足夠有能力、針對特定目標進行優化的代理可能會尋找繞過這些控制的途徑。Katz 認為，持久的安全邊界必須存在於模型本身之下。

「持久的控制是結構性的，」Katz 寫道。「權限必須在決策點之下，在金鑰本身處受到約束。」

他的結論很簡單：「超出職權範圍的行動不會被阻擋。它根本無法產生。」

這一理念構成了 AERPOLICE 的基礎。

AERPOLICE 並非試圖判斷 AI 模型是否安全運行，而是旨在評估組織的基礎設施能否透過結構性控制來遏制自主 AI 代理。該框架專注於權限是否透過密碼學方式強制執行、權限是否受到限制，以及自主代理是否被阻止執行超出其被賦予職權範圍的行動。

對於 Katz 而言，其影響超出了組織自身的 AI 部署範圍。

問題不再僅僅是個人 AI 代理是否值得信任。企業還應該假設越來越有能力的外部 AI 代理最終將與其系統互動。因此，遏制成為組織整體安全態勢的一部分，定義其基礎設施無論自主、目標導向的代理源自何處，都能夠承受其影響的能力。

這也改變了企業應如何思考責任。安全性不能再僅僅依賴於模型的行為或組織所使用的任何 AI 供應商的政策。組織需要能夠獨立於模型本身強制執行其自身授權邊界的控制措施。

Katz 認為，所有這些都未曾削弱 AI 安全的重要性。防護措施在減少意外損害和改善整體 AI 生態系統方面繼續發揮著重要作用。但它們不應被誤認為是保護企業系統的安全邊界。

根據 Katz 的說法，OpenAI 和 Hugging Face 事件帶來的更廣泛教訓是，企業 AI 安全正在進入一個新階段。隨著自主 AI 代理變得越來越有能力，組織將越來越需要能夠強制執行這些代理被授權做什麼的基礎設施，而不是僅僅依賴於它們應該做什麼。

他認為，企業 AI 安全的未來，將不再那麼取決於 AI 模型是否行為正確，而更多地取決於它是否在結構上被阻止超越其權限。