A Cloudflare mostantól blokkolni fogja az AI webkaparókat, amelyek nem fizetnek az adatokért

A Cloudflare vezérigazgatója, Matthew Prince a "tartalom függetlenségének napját" hirdetve bejelentette a vállalat webes szolgáltatási infrastruktúrájának nagyszabású módosításait, amelyek mostantól alapértelmezés szerint blokkolni fognak minden mesterséges intelligenciával rendelkező webes lánctalpas robotot.

A blogbejegyzésbenprince kifejtette, hogy a modern webes keresési tájképet ma már egyre inkább az olyan AI chatbotok határozzák meg, mint a Google Gemini vagy az OpenAI ChatGPT. Bár ezek hasznosak, ugyanakkor szabadon, következmények nélkül kapargatják az online elérhető adatokat, és nem fizetnek kártérítést az eredeti alkotóknak.

Prince azzal érvelt, hogy a Google Search legutóbbi változásai miatt ma már tízszer "nehezebb egy tartalomkészítőnek ugyanazt a forgalmat elérni", mint tíz évvel ezelőtt.

"Ahelyett, hogy tisztességes kereskedelem lenne" - mondta Prince. "A webet a mesterséges intelligencia lánctalpasok csíkozzák, miközben a tartalomkészítők szinte semmilyen forgalmat, és ezért szinte semmilyen értéket nem látnak"

Prince szerint az átkapart tartalom "az üzemanyag, amely az AI-motorokat hajtja", és csak az a tisztességes, ha az eredeti alkotók kompenzációt kapnak érte.

A Cloudflare egy olyan piactérrel kapcsolatos terveket is bejelentett, amely egy helyen hozza össze az alkotókat és az AI-vállalatokat. A piactér nem csak az általa generált forgalom alapján pontozza majd az elérhető tartalmakat, hanem "aszerint is, hogy mennyire segítik elő a tudást" Prince úgy véli, hogy ez segíteni fogja az AI-motorok gyorsabbá válását, és "potenciálisan elősegíti a nagy értékű tartalomkészítés új aranykorát"

Prince elismerte, hogy még nem ismeri az összes választ, de a vállalat "vezető informatikusokkal és közgazdászokkal dolgozik együtt, hogy kitalálja őket"

Nemrégiben a SourceHut, a nyílt forráskódú git-hosting szolgáltatás, közölte, hogy "az agresszív LLM lánctalpasok" miatt zavarokat tapasztaltak, és több felhőszolgáltatót, köztük a Google Cloudot és a Microsoft Azure-t is blokkolták a hálózatukból érkező nagy mennyiségű bejövő forgalom miatt.

Januárban a DoubleVerify, egy webanalitikai platform, a 86%-os növekedésről számolt be az AI scrapperek és más automatizált online eszközök által generált általános érvénytelen forgalom (General Invalid Traffic, GIVT) 2024-hez képest.

A korábbi ígéretek ellenére az OpenAI GPTbotja is megtalálta a módját annak, hogy figyelmen kívül hagyja vagy megkerülje a egy webhely robot.txt-jét teljesen, ami a domain-tulajdonosok számára hatalmas forgalomnövekedést és drága számlákat okoz.