آنتروپیک قابلیت Message Threads را در نسخه بتای عمومی پلتفرم کلاود منتشر کرد تا ارسال درخواست‌ها در مکالمات طولانی عامل‌های هوش مصنوعی سریع‌تر انجام شود. این قابلیت در برخی نشست‌های طولانی می‌تواند زمان انتظار برای شروع پاسخ را به‌طور محسوسی کاهش دهد.
عامل‌های هوش مصنوعی برای انجام وظایف پیچیده، مانند برنامه‌نویسی یا کار با فایل‌ها، ممکن است در یک نشست صدها درخواست به مدل ارسال کنند. در روش معمول، هر درخواست باید علاوه‌بر پیام جدید، تمام تاریخچه مکالمه و نتایج ابزارهای قبلی را نیز در خود داشته باشد. با طولانی شدن مکالمه و افزایش حجم آن به صدها هزار توکن، آماده‌سازی و ارسال مجدد این اطلاعات می‌تواند زمان شروع پاسخ‌گویی مدل را افزایش دهد.
قابلیت رشته‌های پیام (Message Threads) این فرایند را تغییر می‌دهد. با استفاده از آن، عامل هوش مصنوعی پس از ایجاد یک رشته مکالمه، در درخواست‌های بعدی فقط پیام‌های جدید را ارسال می‌کند و شناسه پاسخ قبلی را نیز در درخواست قرار می‌دهد. به این ترتیب، دیگر نیازی نیست کل تاریخچه مکالمه در هر مرحله از سمت کلاینت دوباره ارسال شود.
کاهش ۳۵ درصدی زمان شروع پاسخ در نشست‌های طولانی
یکی از مهم‌ترین مزایای این قابلیت، کاهش زمان تا دریافت نخستین توکن (TTFT) است. براساس اعلام آنتروپیک، استفاده از رشته‌های پیام در کلاود کد برای بیشتر کاربران به‌صورت پیش‌فرض فعال شده است. در درخواست‌هایی با حجم ۵۰۰ هزار تا یک میلیون توکن، میانه زمان شروع پاسخ حدود ۳۵ درصد کاهش پیدا می‌کند. البته این بهبود به معنای کاهش مصرف توکن نیست. کلود همچنان در هر نوبت، کل تاریخچه مکالمه را برای درک زمینه درخواست پردازش می‌کند؛ بنابراین میزان مصرف توکن تغییری نمی‌کند. مزیت اصلی این قابلیت، کوچک‌تر شدن درخواست‌های ارسالی و کاهش زمان انتقال و آماده‌سازی اطلاعات است.
نحوه فعال‌سازی رشته‌های پیام در API کلود
توسعه‌دهندگان برای استفاده از این قابلیت باید پارامتر مربوط به Thread را به درخواست‌های Messages API اضافه کنند. فرایند استفاده از آن شامل مراحل زیر است:
در درخواست نخست، کل تاریخچه مکالمه را ارسال کنید تا یک رشته جدید ایجاد شود.
شناسه پاسخ دریافت‌شده را برای درخواست‌های بعدی نگه دارید.
در درخواست‌های بعدی، فقط پیام‌های جدید و شناسه پاسخ قبلی را ارسال کنید.
در صورت پایان یافتن اعتبار رشته، تاریخچه کامل مکالمه را برای شروع یک رشته جدید ارسال کنید.
هر رشته پیام پنج دقیقه پس از آخرین درخواست منقضی می‌شود. اگر در این بازه درخواست جدیدی ارسال نشود، کلاینت باید تاریخچه کامل مکالمه را دوباره ارسال کند.
کاربردهای اصلی و زمان عرضه عمومی
این قابلیت برای عامل‌های برنامه‌نویسی که در یک نشست طولانی بارها کد را تغییر می‌دهند یا نتایج ابزارها را دریافت می‌کنند، کاربرد دارد. همچنین عامل‌های مبتنی بر کنترل رایانه می‌توانند تصاویر صفحه را در همان رشته نگه دارند و از ارسال مجدد آن‌ها در هر مرحله جلوگیری کنند. گردش‌کارهای مبتنی بر اسناد و تصاویر حجیم نیز از کوچک‌تر شدن درخواست‌های ارسالی بهره می‌برند. رشته‌های پیام اکنون در نسخه بتای عمومی پلتفرم اصلی کلاود، نسخه ارائه‌شده روی AWS، کلاود در Microsoft Foundry و مدل‌های کلاود در Google Cloud با مدیریت آنتروپیک در دسترس هستند. نرخ استاندارد توکن‌ها و محدودیت‌های فعلی استفاده از API نیز بدون تغییر باقی می‌مانند.
قابلیت جدید آنتروپیک بیش از آنکه مصرف منابع مدل را کاهش دهد، مشکل انتقال مکرر اطلاعات در نشست‌های طولانی را هدف قرار می‌دهد. این تغییر برای توسعه‌دهندگانی که عامل‌های هوش مصنوعی چندمرحله‌ای می‌سازند اهمیت زیادی دارد؛ زیرا کاهش تاخیر در هر درخواست می‌تواند در مجموع زمان اجرای یک وظیفه پیچیده را کمتر کند. بااین‌حال، ثابت ماندن مصرف توکن نشان می‌دهد که این قابلیت فعلا راهکاری برای بهینه‌سازی ارتباط با API است، نه کاهش هزینه پردازش مکالمات طولانی.