A Cloudflare bevezetett egy új funkciót, amellyel a weboldaltulajdonosok egy kattintással blokkolhatják az összes AI botot, hogy azok ne tudják letölteni az oldalaik tartalmát. Az új funkció minden ügyfél számára elérhető, beleértve az ingyenes szintet is.
Az AI botok viselkedése sokszor nem átlátható, és néhány cég, mint például a Perplexity, hamisan azonosítja magát a weboldalak letöltésekor. A Cloudflare rendszere folyamatosan frissül az újonnan azonosított botok ujjlenyomataival, és gépi tanulás segítségével azonosítják a valódinak tűnő böngészők mögé rejtőző botokat is.
A CF új funkciója inkább csak egy kisebb akadály az adatokra vadászó cégeknek. Amelyik cég betartja a robots.txt szabályokat, azzal eddig sem volt gond, amelyik pedig nem, az valószínűleg ezután is meg tudja majd szerezni a publikus adatokat, nem nagyon van erre valódi megoldás.