Mostantól alapértelmezetten letiltja az AI botokat a Cloudflare az ügyfelei weboldalain. A weboldal-tulajdonosok részletesen szabályozhatják, hogy mely AI cégek férhetnek hozzá az oldalukhoz, és akár árakat is meghatározhatnak a „Pay per Crawl” rendszerben, hogy az AI modelleknek minden lekérés után fizetniük kelljen.
A web tartalma mostanáig szinte teljes egészében szabadon begyűjthető volt a keresőmotorok és az AI rendszerek fejlesztői számára, ezzel az új funkcióval viszont a tartalomgyártók végre kézbe vehetik, ki és milyen feltételekkel használhatja fel az anyagaikat.
A változást üdvözölték olyan médiumok, mint a TIME, az AP vagy a Stack Overflow, akik szerint az AI rendszerek miatt jelentősen visszaesett a weboldalaik látogatottsága, miközben az adatgyűjtő botok aktivitása kilőtt. Az adatok szerint az OpenAI botjai például átlagosan 1700-szor böngészik végig az oldalakat minden egyes valódi látogatásért cserébe, míg a Google-nél ez az arány 14:1.
