مایکروسافت یک جعبه ابزار منبع باز جدید با تمرکز بر امنیت زمان اجرا (runtime security) معرفی کرده است تا نظارت سختگیرانهتری بر عاملهای هوش مصنوعی سازمانی اعمال کند.
این جعبه ابزار بر اساس امنیت زمان اجرا (runtime security) ساخته شده است، که نگرانیها را مبنی بر اینکه مدلهای زبانی مدرن دیگر به نقشهای مشاورهای محدود نیستند، بلکه به طور فعال کدها را اجرا کرده و با سیستمهای داخلی تعامل دارند، برطرف میکند. محافظهای سنتی مانند بررسی کد ایستا و اسکنهای قبل از استقرار برای همگام شدن با این رفتارهای پویا با مشکل مواجه هستند.
استقرارهای اولیه هوش مصنوعی عمدتاً بر روی کمکخلبانها (copilots) با دسترسی محدود و فقط خواندنی متمرکز بود و انسانها مسئول اجرا بودند. این الگو در حال تغییر است. شرکتها اکنون در حال ادغام سیستمهای عاملی هستند که قادر به انجام اقدامات مستقل در سراسر APIها، محیطهای ابری و خطوط لوله توسعه هستند.
در چنین تنظیماتی، یک عامل هوش مصنوعی میتواند یک ایمیل را تجزیه کند، یک اسکریپت تولید کند و آن را بدون دخالت انسان در سرور مستقر کند. یک دستور ناقص یا تزریق پرامپت میتواند منجر به تغییرات ناخواسته پایگاه داده یا افشای اطلاعات حساس شود. جعبه ابزار جدید این خطر را با نظارت بر اقدامات در حین وقوع و مداخله در زمان واقعی، به جای تکیه بر کنترلهای از پیش تعیین شده، برطرف میکند.
این سیستم بر نحوه تعامل عاملهای هوش مصنوعی با ابزارهای خارجی تمرکز دارد. هنگامی که یک مدل نیاز به انجام عملی فراتر از پردازش داخلی خود دارد، مانند پرسوجو از یک سیستم سازمانی، یک فرمان هدفمند برای آن ابزار تولید میکند.
مایکروسافت یک لایه اجرای سیاست بین مدل و شبکه شرکتی قرار میدهد. هر درخواست خروجی رهگیری شده و قبل از اجرا در برابر قوانین حاکمیتی از پیش تعریف شده ارزیابی میشود. اگر عملی سیاستی را نقض کند، مثلاً عاملی که تلاش میکند تراکنشی را آغاز کند، در حالی که دسترسی آن فقط خواندنی است، درخواست مسدود شده و برای بررسی ثبت میشود.
این رویکرد یک مسیر قابل حسابرسی از تصمیمات ایجاد میکند، در حالی که نیاز توسعهدهندگان به جاسازی محدودیتهای امنیتی در هر پرامپت یا گردش کار را از بین میبرد. حکمرانی از منطق برنامهنویسی به سمت کنترلهای سطح زیرساخت تغییر میکند.
این چارچوب همچنین به عنوان یک بافر برای سیستمهای قدیمی عمل میکند، بسیاری از آنها برای مدیریت ورودیهای پیشبینیناپذیر تولید شده توسط ماشین طراحی نشده بودند. با فیلتر کردن و اعتبارسنجی درخواستها قبل از رسیدن به سیستمهای اصلی، خطرات ناشی از رفتار هوش مصنوعی به خطر افتاده یا گمراه شده را محدود میکند.
تصمیم مایکروسافت برای انتشار این جعبه ابزار به صورت منبع باز با شیوههای توسعه فعلی همخوانی دارد. تیمهایی که گردش کار هوش مصنوعی را میسازند، اغلب به ترکیبی از ابزارها و مدلهای شخص ثالث متکی هستند. یک راه حل اختصاصی میتواند به نفع جایگزینهای سریعتر دور زده شود. دسترسی آزاد امکان ادغام کنترلها را در محیطهای مختلف، از جمله سیستمهایی که از مدلهای رقبایی مانند Anthropic استفاده میکنند، فراهم میکند.
همچنین این امکان را برای شرکتهای امنیت سایبری فراهم میکند تا لایههای نظارت و پاسخ اضافی را بر روی این چارچوب بسازند، که به ایجاد یک خط مبنای مشترک برای ایمنسازی عملیات مبتنی بر هوش مصنوعی کمک میکند.
امنیت تنها بخشی از چالش است. عاملهای خودمختار همچنین خطرات مالی و عملیاتی را به همراه دارند، به ویژه از طریق استفاده بیرویه از API.
این سیستمها در حلقههای پیوسته عمل میکنند و به طور مکرر با خدمات خارجی تماس میگیرند. بدون محدودیت، حتی یک کار ساده میتواند هزاران درخواست به پایگاههای داده یا APIهای پولی را تحریک کند و به سرعت هزینهها را بالا ببرد. در موارد شدید، عاملهای بد پیکربندی شده میتوانند وارد چرخههای بازگشتی شوند که مقادیر زیادی از منابع محاسباتی را در مدت زمان کوتاهی مصرف میکنند.
این جعبه ابزار به سازمانها امکان میدهد تا محدودیتهای سختگیرانهای برای استفاده از توکن و فرکانس درخواست تعیین کنند. با کنترل اینکه یک عامل چند بار میتواند در یک دوره زمانی مشخص عمل کند، شرکتها میتوانند هزینهها را بهتر مدیریت کرده و از فرآیندهای خارج از کنترل جلوگیری کنند.
نظارت زمان اجرا (runtime oversight) همچنین با فراهم آوردن کنترلهای قابل اندازهگیری و گزارشهای حسابرسی واضح، از الزامات انطباق (compliance) پشتیبانی میکند. مسئولیت از ارائهدهندگان مدل به سمت سیستمهایی که تصمیمات را در محیطهای واقعی اجرا میکنند، در حال تغییر است.
استقرار چنین چارچوبهای حاکمیتی نیازمند هماهنگی بین تیمهای مهندسی، حقوقی و امنیتی خواهد بود. با پذیرش نقشهای خودمختارتر توسط سیستمهای هوش مصنوعی، زیرساختی که رفتار آنها را مدیریت میکند، به هسته اصلی استقرار ایمن تبدیل میشود.
این انتشار همزمان با سرمایهگذاری مداوم در زیرساختهای هوش مصنوعی است. مایکروسافت اخیراً برنامههایی را برای اختصاص ۱۰ میلیارد دلار در ژاپن طی چهار سال آینده اعلام کرده است، که بر مراکز داده و سیستمهای پشتیبانی تمرکز دارد.
این اعلامیه پس از مذاکرات بین برد اسمیت، رئیس مایکروسافت، و سانا تاکایچی، نخستوزیر ژاپن، در توکیو صورت گرفت. اسمیت این سرمایهگذاری را "پاسخی به نیاز فزاینده ژاپن به خدمات ابری و هوش مصنوعی" توصیف کرد.
این شرکت با گروه سافتبانک و ساکورا اینترنت برای گسترش زیرساختهای داخلی همکاری میکند. آخرین تعهد بر اساس یک برنامه ۲.۹ میلیارد دلاری است که در سال ۲۰۲۴ اعلام شد و با هدف تقویت قابلیتهای هوش مصنوعی و تابآوری امنیت سایبری در این کشور است.
