در سالهایی که چتباتهای هوش مصنوعی به ابزار ثابت بسیاری از کاربران تبدیل شدهاند، انتظار برای دریافت پاسخهای دقیق، سریع و منسجم بیش از هر زمان دیگری افزایش یافته است. از نگارش متن و تحلیل داده گرفته تا پشتیبانی مشتریان، مدلهای زبانی بزرگ حالا در قلب بسیاری از فعالیتهای دیجیتال قرار دارند. با این حال تجربه کاربران نشان میدهد هرچه مکالمه با این ابزارها طولانیتر شود، احتمال بروز خطا، تناقض یا پاسخهای مبهم بیشتر میشود.
کاربرانی که با چتباتهایی مانند ChatGPT و Gemini کار کردهاند، به الگویی مشابه اشاره میکنند: در تعاملات کوتاه، پاسخها دقیق و منسجم است، اما با ادامه گفتوگو و افزایش رفتوبرگشتها، کیفیت خروجی افت میکند. پژوهشهای اخیر نیز این تجربه عمومی را تأیید کردهاند.
چرا مکالمه طولانی به خطا منجر میشود؟
مدلهای زبانی بزرگ به گونهای طراحی شدهاند که هر پاسخ را بر اساس متنهای قبلی همان گفتوگو تولید کنند. این ویژگی به حفظ پیوستگی کمک میکند، اما یک ضعف مهم نیز دارد: اگر در ابتدای مکالمه خطایی رخ دهد، همان خطا میتواند در پاسخهای بعدی تقویت و تکرار شود.
در چنین شرایطی، سیستم به جای بازنگری مستقل در اطلاعات، بر خروجیهای قبلی خود تکیه میکند. نتیجه این روند، انباشت اشتباهات کوچک و تبدیل آنها به انحرافهای جدیتر در ادامه مکالمه است. بهویژه زمانی که موضوع بحث در میانه مسیر تغییر کند، مدل برای «تنظیم مجدد» استدلال خود با چالش مواجه میشود.
افزایش طول پاسخ؛ کاهش دقت
بررسیها نشان میدهد هرچه گفتوگو ادامه پیدا میکند، طول پاسخها نیز بیشتر میشود؛ گاهی حتی چند برابر پاسخهای ابتدایی. در ظاهر، جزئیات بیشتر میتواند نشانه دقت بالاتر باشد، اما در عمل اغلب برعکس است. طولانی شدن متن باعث میشود نکات کلیدی در میان توضیحات اضافی گم شوند و احتمال بروز تناقض افزایش یابد.
این اطناب ناخواسته معمولاً با افت تمرکز مدل بر پرسش اصلی همراه است؛ مسئلهای که بسیاری از کاربران در مکالمات چندمرحلهای تجربه میکنند.
«توهم» هوش مصنوعی از کجا میآید؟
یکی از پدیدههای شناختهشده در این حوزه، «توهم» است؛ حالتی که چتبات اطلاعاتی نادرست، ساختگی یا بیپایه تولید میکند. این مشکل زمانی پررنگتر میشود که مکالمه از چند تبادل ساده فراتر رود.
مدلهای زبانی بر اساس پیشبینی واژه بعدی عمل میکنند، نه راستیآزمایی فعال اطلاعات. آنها حجم عظیمی از دادههای دیجیتال را تحلیل کردهاند، اما توانایی تشخیص قطعی درست از نادرست را مانند انسان ندارند. در نتیجه، گاهی برای ارائه پاسخی روان و قانعکننده، اطلاعاتی تولید میکنند که از نظر منطقی یا factual دقیق نیست.
گزارشهایی که در رسانههایی مانند The New York Times منتشر شده، به این نکته اشاره دارد که حتی پیشرفتهترین نسخههای این فناوری نیز از خطا مصون نیستند و گاهی با افزایش تواناییهای استدلالی، نرخ برخی خطاها نیز بالا میرود.
کدام کاربردها آسیبپذیرترند؟
کارهایی که نیازمند دقت بالا هستند—مانند تحلیل اسناد حقوقی، تولید کد برنامهنویسی یا پشتیبانی تصمیمگیری—بیش از سایر حوزهها در معرض خطر قرار دارند. در این موارد، یک خطای کوچک در ابتدای فرآیند میتواند در مراحل بعدی پیامدهای جدی ایجاد کند.
در محیطهای سازمانی که هوش مصنوعی در گردشکارهای تجاری ادغام شده، نبود نظارت انسانی میتواند ریسک را افزایش دهد؛ بهویژه در گفتوگوهای طولانی که خروجی هر مرحله بر مرحله قبل متکی است.
آیا همه چتباتها چنین مشکلی دارند؟
اگرچه میان پلتفرمها تفاوتهایی وجود دارد، اما شواهد نشان میدهد این چالش محدود به یک برند خاص نیست. وابستگی به متن قبلی، محدودیت «پنجره متنی» و فشار برای تولید پاسخ سریع، عواملی هستند که تقریباً در تمام مدلهای بزرگ مشترکاند.
شدت افت کیفیت ممکن است متفاوت باشد، اما اصل ماجرا—کاهش تدریجی انسجام در مکالمات طولانی—یک مسئله فراگیر در صنعت هوش مصنوعی به شمار میرود.
چگونه از بروز خطا جلوگیری کنیم؟
کارشناسان برای استفاده مؤثرتر از چتباتها چند توصیه کاربردی ارائه میکنند:
پرسشها را کوتاه، دقیق و ساختارمند مطرح کنید.
از طرح چند سؤال پیچیده در یک پیام خودداری کنید.
مکالمههای طولانی را به چند گفتوگوی جداگانه تقسیم کنید.
اطلاعات مهم را بهطور مستقل راستیآزمایی کنید.
در صورت مشاهده تکرار، تناقض یا تغییر ناگهانی منطق، گفتوگو را بازنشانی کنید.
آینده چه خواهد بود؟
پژوهشگران در حال کار روی بهبود حافظه بلندمدت، توانایی خوداصلاحی و درک عمیقتر متن در مدلهای زبانی هستند. با این حال، تا رسیدن به سطحی از پایداری که بتواند جایگزین قضاوت انسانی شود، فاصله باقی مانده است.
در شرایط فعلی، بهترین رویکرد استفاده ترکیبی از توان پردازشی ماشین و قضاوت انسانی است. آگاهی از محدودیتها نهتنها از بروز خطا جلوگیری میکند، بلکه به کاربران کمک میکند بیشترین بهره را از این فناوری نوظهور ببرند.
منبع/ایسنا