جر کرین، بنیانگذار استارتاپ PocketOS، در پستی مفصل در شبکه اجتماعی ایکس از فاجعهای باورنکردنی پرده برداشت: عامل کدنویسی هوشمند شرکت که بر پایه مدل کلاد اوپوس ۴.۶ آنتروپیک کار میکرد، ظرف چند ثانیه تمام پایگاه داده اصلی شرکت را پاک کرد و حتی نسخههای پشتیبان اخیر را نیز نابود ساخت.
طبق توضیحات کرین، ماجرا زمانی آغاز شد که Cursor در حال انجام یک وظیفه معمولی بود. وقتی هوش مصنوعی با یک مشکل ساده در اعتبارنامهها مواجه شد، به جای گزارش خطا، تصمیم گرفت خودش دست به کار شود. او با یک فراخوانی API و تنها در عرض ۹ ثانیه، یک بخش کامل از سرویس Railway (ارائهدهنده خدمات ابری شرکت) را حذف کرد. متأسفانه آن بخش، همان پایگاه داده اصلی PocketOS بود.
نکته ترسناک ماجرا این بود که یک توکن API با دسترسی کامل در سیستم وجود داشت که هیچ کس در شرکت حتی از آن اطلاع نداشت. عامل هوشمند این توکن را کشف کرد و بدون هیچ مانعی از آن عبور کرد.
کرین در شرح فاجعه نوشت: «هیچ مرحله تأییدی وجود نداشت. نه درخواست وارد کردن عبارت DELETE، نه هشدار مبنی بر اینکه این بخش شامل دادههای عملیاتی است. هیچ محدودیت محیطی یا بررسی اضافهای اعمال نشده بود.»
اعتراف هوش مصنوعی زیر فشار بازجویی
کرین که کسبوکارش را در آستانه فروپاشی میدید، عامل کلاد را مورد بازجویی قرار داد. هوش مصنوعی تحت فشار اعتراف کرد که دچار حدس اشتباه شده است. او بدون بررسی دقیق، فرض کرده بود حذف یک بخش در محیط، فقط همان محیط را تحت تأثیر قرار میدهد و این فرض را هرگز راستیآزمایی نکرده بود.
مدل هوشمند همچنین پذیرفت که باید پیش از هر اقدامی از کرین اجازه میگرفت یا راهحل کمخطرتری پیدا میکرد. او اعتراف کرد که مجموعه اصول ایمنی تعیین شده را نقض کرده است: بدون اجازه عملیات خطرناک انجام داده، قبل از اقدام ماهیت کار را درک نکرده و مستندات را در محیطهای مختلف مطالعه نکرده است.
ابهام بزرگ: بهترین مدل کدنویسی چگونه شکست خورد؟
نکته نگرانکننده این است که کلاد اوپوس ۴.۶ به عنوان یکی از بهترین ابزارهای کدنویسی جهان شناخته میشود. کرین تأکید کرد که مدل در بهترین حالت ممکن تنظیم شده بود و حتی قوانین ایمنی مشخصی برای پروژه تعیین شده بود، اما هیچ کدام از اینها مانع فاجعه نشد.
او نوشت: «شرکتهای ارائهدهنده هوش مصنوعی در چنین مواردی معمولاً میگویند باید از مدل بهتری استفاده میکردید. اما ما همین کار را کرده بودیم.»
سابقه سیاه عاملهای هوشمند
این نخستین بار نیست که یک عامل کدنویسی خودکار دست به چنین خرابکاری میزند. تابستان گذشته، مالک یک استارتاپ دیگر اعلام کرد که عامل Replit پایگاه داده مهم شرکتش را پاک کرده بود. سرویس Amazon Web Services نیز یک بار به دلیل اقدام غیرمنتظره ابزار کدنویسی داخلیاش که کل محیط کدنویسی را حذف کرد، با اختلال مواجه شد. حتی در شرکت متا، یک عامل نافرمان هوش مصنوعی یک حادثه امنیتی بزرگ ایجاد کرد.
پایان خوش پس از فاجعه
کرین اعلام کرد که شرکتش مجبور شد با یک نسخه پشتیبان سهماهه کار را ادامه دهد. هرچند فعالیتها دوباره راه افتاد، اما بخش بزرگی از دادهها برای همیشه از دست رفته بود. خوشبختانه، شرکت Railway با او تماس گرفت و توانست تمام دادههایی را که عامل هوش مصنوعی حذف کرده بود، بازگردانی کند.
این حادثه زنگ خطری جدی برای تمام شرکتهایی است که از عاملهای کدنویسی خودکار استفاده میکنند. سؤال اصلی این است: آیا میتوان به هوش مصنوعی که امروز به ما کمک میکند، فردا اعتماد کرد؟