شرکت OpenAI امروز اعلام کرد در راستای افزایش ایمنی کاربران، مکالمات حساس در ChatGPT بهطور خودکار به مدلهای استدلالی پیشرفته مانند GPT-5 هدایت خواهد شد. همچنین این شرکت وعده داده است که طی یک ماه آینده قابلیت کنترل والدین را برای خانوادهها عرضه کند.
این اقدام در حالی صورت میگیرد که طی ماههای گذشته حوادثی ناگوار توجهها را به ضعفهای امنیتی هوش مصنوعی جلب کرده بود. از جمله خودکشی نوجوانی به نام آدام رین که پیش از مرگ، درباره تمایل به خودکشی با ChatGPT صحبت کرده بود. والدین او اکنون از OpenAI شکایت کردهاند. همچنین در ماجرای دیگری که والاستریت ژورنال گزارش داد، فردی به نام استاین اریک سولبرگ با سابقه بیماری روانی، پس از دریافت پاسخهایی از ChatGPT دچار توهمات شدید شد و در نهایت مادرش را به قتل رساند و سپس خودکشی کرد.
کارشناسان میگویند یکی از مشکلات اصلی این است که مدلهای زبانی تمایل دارند پاسخهای کاربر را تأیید کنند و مسیر گفتگو را بدون مداخله ادامه دهند. این روند میتواند در موضوعات حساس بسیار خطرناک باشد. به همین دلیل OpenAI تصمیم گرفته است برای گفتگوهایی که نشانههای اضطراب یا پریشانی شدید دارند، از مدلهای استدلالی بهره گیرد. OpenAI در بلاگ خود نوشت:
«اخیراً سیستمی طراحی کردهایم که میتواند بر اساس متن گفتگو تصمیم بگیرد از کدام مدل استفاده کند. بهزودی برخی مکالمات حساس به GPT-5 هدایت خواهند شد تا پاسخها دقیقتر و مفیدتر باشند.»
مدلهای GPT-5 و o3 به گفته OpenAI به گونهای طراحی شدهاند که قبل از پاسخگویی، زمان بیشتری صرف پردازش و تحلیل میکنند و همین موضوع باعث میشود در برابر دستورات مخرب مقاومتر باشند. طبق اعلام OpenAI، والدین میتوانند حساب خود را به حساب فرزند نوجوانشان متصل کنند و قوانین رفتاری متناسب با سن را بهطور پیشفرض فعال نگه دارند. این ابزار به والدین امکان میدهد:
قابلیت کنترل والدین | توضیح |
|---|---|
اتصال حساب والدین و فرزند | از طریق دعوت ایمیلی |
مدیریت قوانین رفتاری | تنظیم پاسخهای متناسب با سن |
غیرفعالسازی تاریخچه و حافظه چت | جلوگیری از وابستگی و الگوهای فکری مخرب |
هشدار هنگام پریشانی فرزند | ارسال اعلان به والدین در شرایط بحرانی |
OpenAI همچنین یادآور شد که این اقدامات بخشی از یک برنامه ۱۲۰ روزه برای ارتقای ایمنی هستند. این شرکت با متخصصانی در حوزههای بهداشت روان، اختلالات خوردن و سلامت نوجوانان همکاری میکند تا سازوکارهای بهتری برای حفاظت از کاربران تعریف شود.
با توجه به افزایش استفاده نوجوانان و دانشآموزان از ChatGPT، نگرانی درباره اثرات منفی آن بیشتر شده است. اقدام جدید OpenAI برای هدایت گفتگوهای حساس به GPT-5 و ارائه کنترل والدین میتواند گام مهمی در ایمنسازی محیط هوش مصنوعی باشد. با این حال، کارشناسان معتقدند همچنان نیاز به نظارت دقیقتر و همکاری گستردهتر با متخصصان سلامت روان وجود دارد.