A Cloudflare bejelentette, hogy 2026. szeptember 15-től alapértelmezetten blokkolja azokat a webes robotokat, amelyek egyszerre használják az adatokat keresésre, AI működtetésére és modellek betanítására. Az érintett oldalak (különösen a hirdetéseket futtatók) csak akkor lesznek elérhetők ezeknek a „vegyes” crawlereknek, ha a tulajdonos ezt külön engedélyezi.
A cél: a kiadók nagyobb kontrollt kapjanak a tartalmuk felett, és ne adják azt ingyen az AI cégeknek. A Cloudflare szerint az internetes forgalom már többségében nem emberi, ami miatt nem lehet várni az új szabályozási és üzleti modellek bevezetésével.
A cég egy új irányt is felvet: a „Pay Per Crawl” után jön a „Pay Per Use”, ahol már nem csak az adat letöltéséért, hanem a tényleges felhasználásért is fizetni kell. Első partnerek között van a You.com és a Ceramic.ai, akik fizetnek a prémium tartalmak használatáért.
