کلودفلر، ارائهدهنده زیرساختهای اینترنتی، این هفته اعلام کرد که قصد دارد رباتهای هوشمصنوعی شناختهشده را بهطور پیشفرض مسدود کند تا از «دسترسی بدون اجازه یا رایگان» به محتوای وبسایتها جلوگیری کند. از این پس، وقتی دامنهای برای نخستین بار در کلودفلر ثبت میشود، در مراحل راهاندازی گزینهای ظاهر خواهد شد که از مالک سایت میپرسد آیا میخواهد به این رباتها اجازه دسترسی بدهد یا خیر.
یکی از ویژگیهای جدید، سرویس «پرداخت به ازای خزش» است که فعلاً در اختیار گروه محدودی از سایتها و تولیدکنندگان محتوا قرار دارد. در این مدل، ناشر میتواند برای هر بار خزش (crawl) توسط یک ربات هوشمصنوعی، مبلغی را تعیین کند. شرکتهای هوشمصنوعی میتوانند لیست قیمتها را مشاهده کرده و تصمیم بگیرند که برای دسترسی ثبتنام کرده و هزینه بپردازند یا از خزش صرفنظر کنند. هدف کلودفلر این است که «شرکتهای هوشمصنوعی بتوانند از محتوای باکیفیت بهدرستی، با اجازه و پرداخت هزینه، استفاده کنند.»
کلودفلر از سال ۲۰۲۳ امکان مسدودسازی رباتهای هوشمصنوعی را به سایتها داده بود، اما آن زمان تنها رباتهایی را بلاک میکرد که به دستورالعملهای robots.txt سایت احترام نمیگذاشتند یا آنها را نادیده میگرفتند. از سال گذشته نیز امکان بلوکه کردن کلیه رباتهای AI، اعم از رعایتکنندگان robots.txt یا نه، افزوده شد. حال این قابلیت برای مشتریان جدید بهصورت پیشفرض فعال است. کلودفلر رباتهای مخرب را با مقایسه شناسههای آنها با فهرست رباتهای شناختهشده خود شناسایی میکند. در مارس ۲۰۲۵ نیز ویژگی «هزارتوی هوشمصنوعی» (AI Labyrinth) معرفی شد که رباتهای خراشگر را در مسیری پر پیچ و خم هدایت میکرد تا از خزش بیاجازه منصرف شوند.
شرکتهایی مانند The Associated Press ،The Atlantic ،Fortune ،Stack Overflow و Quora از نخستین حامیان محدودیتهای جدید کلودفلر بودهاند. آنها با رشد چتباتهای هوشمصنوعی و تمایل کاربران به دریافت پاسخ از آنها بهجای مراجعه مستقیم به سایتها، نگران کاهش بازدید و درآمد ناشران هستند. متیو پرینس، مدیرعامل کلودفلر، در رویدادی گفت: «مردم در شش ماه گذشته بیش از پیش به هوش مصنوعی اعتماد کردهاند، که یعنی محتوای اصلی را نمیخوانند.» کلودفلر همچنین در حال همکاری با شرکتهای هوش مصنوعی است تا رباتهای آنها را تأیید هویت کند تا هدفشان، مثل آموزش مدل، استنتاج یا جستجو، را شفاف اعلام کنند. این اطلاعات در اختیار مالکان سایت قرار میگیرد تا خود تصمیم بگیرند کدام رباتها مجاز به خزش باشند.
اقدام جدید کلودفلر برای مسدودسازی پیشفرض رباتهای هوشمصنوعی و معرفی مدل «پرداخت به ازای خزش»، گامی مهم در حمایت از حقوق ناشران و تولیدکنندگان محتواست. با این سازوکار، صاحبان وبسایتها میتوانند کنترل بیشتری بر دسترسی به محتوایشان داشته باشند و در عین حال، شرکتهای هوشمصنوعی نیز به مسیر شفافتری برای بهرهبرداری قانونمند و جبرانمناسب دسترسی پیدا میکنند. این تلاش مشترک میتواند تعادل میان نوآوری در هوش مصنوعی و حفظ ارزش محتوای اصلی را برقرار سازد.