Cloudflare wydało nowe bezpłatne narzędzie, które uniemożliwia botom firm AI zeskrobywanie stron internetowych klientów w celu trenowania dużych modeli językowych. Dostawca usług w chmurze udostępnia to narzędzie całej swojej bazie klientów, w tym tym korzystającym z bezpłatnych planów. „Ta funkcja będzie automatycznie aktualizowana w miarę upływu czasu, gdy będziemy widzieć nowe odciski palców botów, które uznamy za szeroko zeskrobujące sieć w celu trenowania modeli” — powiedziała firma.
W ogłaszając tę aktualizację, zespół Cloudflare udostępnił również dane o tym, jak jego klienci reagują na boom botów, które zeskrobują treści, aby trenować generatywne modele AI. Według wewnętrznych danych firmy, 85,2 procent klientów zdecydowało się zablokować dostęp do swoich witryn nawet tym botom AI, które prawidłowo się identyfikują.
Cloudflare zidentyfikował również najbardziej aktywne boty z ostatniego roku. Bot Bytespider należący do Bytedance próbował uzyskać dostęp do 40 procent witryn znajdujących się pod nadzorem Cloudflare, a wypróbowano na 35 procentach. Byli połową czterech najlepszych botów AI crawlerów według liczby żądań w sieci Cloudflare, wraz z Amazonbot i ClaudeBot.
Całkowite i konsekwentne blokowanie dostępu botów AI do treści okazuje się bardzo trudne. Wyścig zbrojeń w celu szybszego budowania modeli doprowadził do przypadków, w których firmy omijały lub wręcz łamały istniejące zasady blokowania scraperów. scrapowania stron internetowych bez wymaganych uprawnień. Ale fakt, że firma back-endowa na skalę Cloudflare poważnie podchodzi do próby położenia kresu temu zachowaniu, może przynieść pewne rezultaty.
„Obawiamy się, że niektóre firmy AI, które zamierzają obchodzić zasady dostępu do treści, będą uporczywie dostosowywać się, aby uniknąć wykrycia botów” — powiedziała firma. „Będziemy nadal obserwować i dodawać więcej blokad botów do naszych reguł Scrapers and Crawlers AI oraz rozwijać nasze modele uczenia maszynowego, aby pomóc utrzymać Internet jako miejsce, w którym twórcy treści mogą się rozwijać i zachować pełną kontrolę nad modelami, w których ich treści są wykorzystywane do trenowania lub uruchamiania wnioskowania”.
