اوپن‌ای‌آی از سامانه متمرکز Control Room برای نظارت بر فعالیت مدل‌های هوش مصنوعی در زیرساخت‌های پژوهشی خود رونمایی کرد. این سامانه درصورت شناسایی خطر امنیتی یا رفتاری می‌تواند تولید خروجی مدل‌ها را متوقف کند؛ فرایندی که درحال‌حاضر حداکثر ۳۵ ثانیه زمان می‌برد.
اوپن‌ای‌آی از سامانه جدیدی به نام Control Room رونمایی کرده است. این ابزار برای نظارت متمرکز بر فعالیت مدل‌های هوش مصنوعی در زیرساخت‌های پژوهشی این مجموعه ساخته شده است. به گزارش The Tech Outlook، هدف اصلی آن، شناسایی سریع رفتارهای بالقوه خطرناک و متوقف‌کردن پردازش‌هایی است که ممکن است تهدیدی برای امنیت یا ایمنی ایجاد کنند.
این سامانه تمام پردازش‌های استنتاجی پژوهشی را زیر نظر می‌گیرد؛ ازجمله آزمایش‌های آموزش مدل، ارزیابی عملکرد، نمونه‌گیری خودکار توسط عامل‌های هوش مصنوعی و پردازش داده‌ها. همچنین با سامانه‌های نظارت بر رفتارهای ناهمسو (Misalignment Monitoring) ارتباط دارد تا درصورت شناسایی مشکل، امکان مداخله سریع وجود داشته باشد.
نکته مهم این است که Control Room برای کنترل فعالیت‌های پژوهشی داخلی اوپن‌ای‌آی طراحی شده و نباید آن را ابزاری برای توقف چت‌جی‌پی‌تی یا تمام سرویس‌های این مجموعه در مقیاس عمومی در نظر گرفت. اوپن‌ای‌آی می‌گوید زیرساخت ارائه مدل به کاربران نیز سازوکار متمرکز جداگانه‌ای برای متوقف‌کردن دارد.
سازوکار توقف فعالیت مدل‌ها چگونه است؟
سامانه Control Room از سه بخش اصلی تشکیل شده است؛ پردازش پژوهشی، موتور استنتاج و سرویس مرکزی کنترل. پردازش پژوهشی همان کاری است که محققان اجرا می‌کنند؛ برای مثال، آزمایش یادگیری تقویتی یا ارزیابی یک مدل. موتور استنتاج نیز بخشی است که مدل از طریق آن هوش مصنوعی روی پردازنده‌های گرافیکی اجرا می‌شود و خروجی تولید می‌کند.
هنگام آغاز هر پردازش، سیستم یک شناسه اختصاصی به نام Job ID دریافت می‌کند. این شناسه همراه درخواست‌های تولید خروجی به موتور استنتاج ارسال می‌شود. موتور نیز پیش از پاسخ‌گویی، مجوز ادامه فعالیت را از Control Room می‌گیرد. اگر شناسه مربوط به یک پردازش متوقف‌شده باشد، درخواست رد می‌شود و مدل دیگر نمی‌تواند برای آن کار خروجی جدید تولید کند.
مزیت این سیستم آن است که حتی اگر کد اصلی آزمایش همچنان درحال اجرا باشد، امکان دریافت خروجی از مدل از بین می‌رود. درنتیجه، اوپن‌ای‌آی برای اجرای دستور توقف به همکاری صحیح کدهای پژوهشی وابسته نیست و کنترل را در لایه استنتاج اعمال می‌کند.
توقف در ۳۵ ثانیه و سازوکار ایمنی هنگام خرابی
یکی از نکات مهم این سامانه، سرعت واکنش آن است. اوپن‌ای‌آی اعلام کرده حداکثر فاصله زمانی میان ثبت دستور توقف و غیرممکن‌شدن ادامه پردازش، ۳۵ ثانیه است. وجود این تاخیر به لایه کش مربوط می‌شود که برای مدیریت حجم بالای درخواست‌های مجوزدهی استفاده شده است. این مجموعه درحال کار روی کاهش زمان مذکور به صفر است.
ازسوی‌دیگر، Control Room به سازوکار Fail Closed مجهز شده است. براساس این رویکرد، اگر سرویس مرکزی به‌دلیل اختلال فنی، غیرفعال‌شدن یا حتی دستکاری خرابکارانه از دسترس خارج شود، موتورهای استنتاج اجازه تولید خروجی نخواهند داشت تا سرویس دوباره فعال شود.
اوپن‌ای‌آی می‌گوید این قابلیت اکنون برای تمام پردازش‌های پژوهشی مربوط به مدل‌های پیشرفته خود فعال شده و طی چند روز آینده به سایر فعالیت‌های پژوهشی نیز گسترش پیدا می‌کند.
نقش سیستم‌های نظارتی در شناسایی رفتارهای خطرناک
یکی دیگر از قابلیت‌های مهم Control Room، اتصال مستقیم آن به مدل‌های نظارتی است. اوپن‌ای‌آی توضیح می‌دهد که تمام آزمایش‌های یادگیری تقویتی مربوط به مدل‌های پیشرفته، همراه با یک مدل ناظر اجرا میشوند. این مدل رفتارهای هوش مصنوعی تحت آموزش را بررسی می‌کند و درصورت مشاهده نشانه‌های مشکوک، هشدار می‌دهد.
اگر شدت مشکل به‌اندازه‌ای باشد که توقف آزمایش ضرورت پیدا کند، سامانه نظارتی شناسه پردازش را برای Control Room ارسال می‌کند. پس از ثبت دستور توقف، درخواست‌های بعدی آن پردازش از هر موتور استنتاجی و هر مدلی که استفاده کند، رد خواهند شد.
اوپن‌ای‌آی به یک رخداد مرتبط با DNS نیز اشاره کرده که در آن، سیستم نظارتی توانسته بود مشکل را شناسایی کند. همچنین این مجموعه اعلام کرده است که پردازش‌های پژوهشی مبتنی بر استنتاج عامل‌محور باید به یک پرونده ایمنی تاییدشده متصل باشند.
با افزایش توانایی مدل‌ها در اجرای وظایف پیچیده و خودکار، نظارت بر فعالیت آن‌ها اهمیت بیشتری پیدا می‌کند. Control Room تلاش اوپن‌ای‌آی برای حل بخشی از این چالش در زیرساخت‌های داخلی است. بااین‌حال، تاخیر ۳۵ ثانیه‌ای و وابستگی عملکرد کل زیرساخت به سرویس مرکزی، موضوعاتی هستند که باید در ارزیابی عملی این سامانه مورد توجه قرار بگیرند. موفقیت این رویکرد به میزان پوشش آن در تمام مسیرهای استنتاج و توانایی شناسایی دقیق رفتارهای خطرناک وابسته خواهد بود.