Cloudflare објави нов стандарден систем за блокирање на AI веб скребери што ќе ги трансформира односите меѓу AI компаниите и создавачите на содржини. Од јули 2025, секој нов домен корисник на Cloudflare ќе биде прашан дали сака да дозволи AI crawlers или да ги блокира целосно.
Најреволуционерната карактеристика е “pay-per-crawl” системот, што им овозможува на сајтовите да наплаќаат секој пат кога AI ботот сака да пристапи до нивната содржина. Оваа промена доаѓа како одговор на фактот дека AI модели користат огромни количини на онлајн податоци за да произведуваат резултати, но изворните извори често не се кредитирани и не добиваат монетарна корист.
Повеќе од 1 милион веб-сајтови веќе го активираа системот за блокирање на AI ботови на Cloudflare. Големи издавачи како Condé Nast, TIME и Associated Press веќе се приклучија на блокирањето на crawlers.
Метју Принс, CEO на Cloudflare, изјави дека издавачите се соочуваат со егзистенцијална закана бидејќи луѓето не кликаат на изворните линкови од chatbots. “Ако корисниците не ги посетуваат тие извори, веб-сајтовите не добиваат приходи од реклами што им се потребни за да продолжат да работат”.
Компанијата тврди дека може да идентификува дури и “shadow scrapers” што не се пријавени од AI компаниите, користејќи уникатна комбинација од бихевиорална анализа, fingerprinting и машинско учење.
Извори: WIRED, MIT Technology Review, Engadget
