اوپنایآی مجموعهای از ابزارهای تشخیص محتوای سوءاستفاده از کودکان را معرفی کرده و محدودیتهای ChatGPT را برای مقابله با درخواستهای آسیبزا افزایش میدهد. این برنامه شامل ابزار شناسایی تصاویر تولیدشده با هوش مصنوعی، تعلیق موقت حسابهای متخلف و امکانات کمکی برای نهادهای حفاظت از کودکان است.
شرکت OpenAI از مجموعهای از اقدامات تازه برای مقابله با سوءاستفاده جنسی از کودکان در فضای آنلاین رونمایی کرد. این برنامه سه بخش اصلی دارد؛ توسعه ابزار تشخیص تصاویر مشکوک، مداخله مستقیم در ChatGPT هنگام شناسایی درخواستهای آسیبزا و ارائه امکانات هوش مصنوعی به نهادهای حفاظت از کودکان و نیروهای متخصص تحقیقات.
این اقدامات در شرایطی معرفی شدهاند که تولید تصاویر مصنوعی با ابزارهای هوش مصنوعی، شناسایی محتوای سوءاستفادهآمیز را پیچیدهتر کرده است. OpenAI میگوید مقابله با این مشکل فقط به سیاستهای یک پلتفرم محدود نمیشود و همکاری میان شرکتهای فناوری، سازمانهای حفاظت از کودکان و نهادهای قانونی نیز اهمیت دارد.
ابزار تشخیص تصاویر سوءاستفادهآمیز در اختیار سازمانها قرار میگیرد
مهمترین بخش این برنامه، یک طبقهبند تصویری جدید برای شناسایی محتوای احتمالی سوءاستفاده از کودکان (CSAM) است. این ابزار علاوهبر تصاویر واقعی، محتوای تولیدشده با هوش مصنوعی را نیز بررسی میکند و با اختصاص امتیاز به تصاویر مشکوک، به تیمهای نظارتی کمک میکند موارد نیازمند بررسی انسانی را در اولویت قرار دهند. OpenAI اعلام کرده است که سازمانهای تاییدشده میتوانند ازطریق API این شرکت و بدون پرداخت هزینه به ابزار دسترسی داشته باشند. این سیستم با کمک مرکز ملی کودکان گمشده و مورد سوءاستفاده قرارگرفته آمریکا (NCMEC) توسعه یافته است.
ChatGPT برای درخواستهای آسیبزا هشدار میدهد
تغییر مهم دیگر به نحوه واکنش ChatGPT مربوط میشود. اوپنایآی قصد دارد هنگام شناسایی تلاش کاربران برای پیدا کردن محتوای سوءاستفادهآمیز، هشدارهایی نمایش دهد که پیامدهای آسیبزا بودن این رفتار را توضیح میدهند و کاربران را برای دریافت کمک هدایت میکنند.
در کنار این هشدار، گفتوگوی علامتگذاریشده حذف و دسترسی کاربر به ChatGPT به مدت ۲۴ ساعت متوقف میشود. درصورت تکرار تخلف، محدودیتها ممکن است طولانیتر شوند و در نهایت به بسته شدن حساب یا گزارش موضوع به مراجع قانونی برسند. این مداخله فقط به مسدود کردن درخواست محدود نیست؛ OpenAI میگوید در طراحی پیامهای هشدار از نظر متخصصان و سازمانهایی مانند Protect Children و Lucy Faithfull Foundation استفاده کرده است تا کاربران در معرض رفتار پرخطر، مسیرهای دریافت کمک را نیز بشناسند.
دسترسی به این امکانات نیاز به مجوز سازمانی OpenAI دارد و قرار نیست بهصورت عمومی در اختیار همه کاربران قرار بگیرد.
اقدامات جدید OpenAI هم شناسایی محتوای آسیبزا را هدف قرار میدهند و هم تلاش میکنند پیش از ادامه رفتارهای پرخطر، در آنها اختلال ایجاد کنند. بااینحال، دقت ابزارهای تشخیص تصویر، میزان خطای آنها و نحوه استفاده مسئولانه از دادههای حساس، عواملی هستند که عملکرد واقعی این برنامه را مشخص خواهند کرد. همکاری با نهادهای مستقل و انتشار نتایج ارزیابیهای بیشتر میتواند در سنجش میزان موفقیت این رویکرد نقش مهمی داشته باشد.
