Zakaz w robots.txt to nie blokada. Boty AI zatrzymuje dopiero serwer

Wpisanie do pliku robots.txt linijki zakazującej wstępu botom AI daje poczucie kontroli. Nowe dane pokazują jednak, że deklaracja w pliku i to, co naprawdę dzieje się na serwerze, to dwie różne sprawy. Jeśli prowadzisz stronę z wartościowymi treściami i nie chcesz, żeby trafiały do trenowania modeli AI, warto wiedzieć, gdzie faktycznie zapada decyzja.

Co zbadano

Firma HasData, dostawca API do scrapowania stron, prowadzi indeks blokowania crawlerów AI. W lipcu 2026 r. przebadała 10 894 domeny: blisko 9,8 tys. najpopularniejszych serwisów świata i ponad tysiąc stron wydawców prasowych. 16 września powtórzyła pomiar, a wyniki zaktualizowała 29 września. Badanie szczegółowo opisał serwis PPC Land.

Na części stron (2 096 domen) wysyłano dwa zapytania z tego samego adresu: jedno przedstawiające się jako GPTBot, czyli crawler OpenAI, drugie jako zwykła przeglądarka Chrome. Jeśli przeglądarka dostała stronę, a bot nie, oznaczało to, że serwer blokuje właśnie bota.

Jedno zastrzeżenie: zapytania używały oficjalnej nazwy GPTBot, ale nie pochodziły od zweryfikowanego crawlera OpenAI. Strona, która sprawdza tożsamość dokładniej, mogła je potraktować inaczej.

Zakaz na papierze, drzwi otwarte

Z 592 stron, które w robots.txt zabraniały wstępu GPTBot, aż 234, czyli 39,5%, i tak serwowało mu normalną stronę. Autor badania podsumował to krótko: robots.txt jest sugestią. Plik działa tylko wtedy, gdy bot sam zdecyduje się go uszanować.

Zjawisko działa też w drugą stronę. W lipcu 115 stron blokowało GPTBot, choć w robots.txt nic o nim nie pisało. Blokada siedziała w zaporze sieciowej. We wrześniu takich „cichych” blokad było już 178. Deklaracja i praktyka rozjeżdżają się więc w obu kierunkach.

Widać też wyraźny podział między typami stron. W robots.txt co najmniej jednego crawlera AI blokuje 10,3% popularnych serwisów, ale aż 56,4% wydawców prasowych. To zrozumiałe: wydawcy żyją z treści i subskrypcji, a podsumowania AI z nimi konkurują.

CDN zmienia reguły gry

CDN, czyli sieć dostarczania treści, stoi między serwerem a odwiedzającymi i to jej ustawienia decydują, co zobaczy zablokowany bot. Wyniki dla GPTBot mocno różnią się między dostawcami:

• CloudFront - 78,5% zapytań obsłużonych normalnie, 14,4% twardych blokad. Podejście najbardziej liberalne.
• Cloudflare - 51,3% obsłużonych, 16,9% blokad i 24,7% wyzwań (challenge), np. stron sprawdzających przeglądarkę.
• Akamai - 39,1% obsłużonych, 34,5% blokad i 19,5% ograniczeń liczby zapytań.
• Fastly - tylko 27,3% obsłużonych i 61,5% twardych blokad.

Badanie nie podaje, ile stron stało za każdym dostawcą, więc te liczby trzeba traktować orientacyjnie. Pokazują jednak, że dwie strony z identycznym robots.txt mogą zachowywać się wobec botów zupełnie inaczej.

Co się stało po zmianie w Cloudflare

15 września Cloudflare zmienił sposób zarządzania botami AI. Wycofał funkcje Block AI Bots i Managed Robots.txt na rzecz nowego mechanizmu Bot Preference Sync, a do tego dodał opcję Disallow AI Training. Zmiana miała obejmować migrację ustawień w kolejnych dniach.

HasData porównała archiwalne wersje plików robots.txt z tymi, które były na stronach 16 września. W 118 serwisach, w których Cloudflare sam zapisywał reguły dotyczące AI, zniknęły one z pliku w całości: zakaz trenowania, zastrzeżenie praw i zakaz dla GPTBot. Strony, które napisały swoje reguły samodzielnie, zachowały je.

Czy to znaczy, że boty dostały wolną drogę? Raczej nie. Z 21 dotkniętych stron objętych testem na żywo 16 nadal blokowało GPTBot albo kazało mu przejść wyzwanie. Zniknęła głównie informacja „nie” zapisana w pliku, czyli to, co crawler czyta przed wejściem na stronę.

Blokada też ma swoją cenę

Zanim zablokujesz wszystkie boty AI, weź pod uwagę dwie rzeczy przywołane w badaniu. Według pracy naukowców z Rutgers i Wharton blokowanie crawlerów AI wiązało się z utratą około 7% tygodniowego ruchu w ciągu sześciu tygodni. Z kolei badanie BuzzStream wskazało, że 92,3% dużych serwisów informacyjnych blokujących Google-Extended i tak pojawiało się w cytowaniach AI.

Decyzja o blokadzie powinna więc wynikać z modelu biznesowego. Wydawca, który żyje z treści, ma inne priorytety niż sklep, który chce być polecany przez asystentów AI.

Praktyczne kroki dla właściciela strony

1. Ustal cel. Czy chcesz chronić treści przed trenowaniem modeli, czy raczej zależy Ci na widoczności w odpowiedziach AI? To różne cele i różne ustawienia.
2. Sprawdź robots.txt. Zobacz, czy reguły dla botów AI są tam, gdzie myślisz. Jeśli korzystasz z Cloudflare, upewnij się, co zostało po wrześniowej migracji.
3. Pisz reguły samodzielnie. Według badania reguły wpisane ręcznie przetrwały zmianę u dostawcy, a te generowane automatycznie zniknęły.
4. Sprawdź ustawienia CDN i zapory. To one decydują, czy bot dostanie stronę. Zajrzyj do panelu dostawcy i zobacz, jak traktuje crawlery AI.
5. Przetestuj w praktyce. Poproś osobę technicznie obeznaną o wysłanie zapytania z nazwą bota i porównanie odpowiedzi z tym, co dostaje przeglądarka.

Boty AI to inny temat niż zgody na pliki cookie, ale zasada jest podobna: liczy się to, co strona faktycznie robi, a nie to, co deklaruje. Dokładnie tak samo baner zgody nie wystarczy, jeśli skrypty śledzące i tak startują przed kliknięciem. Jeśli chcesz to sprawdzić na swojej stronie, użyj darmowego narzędzia Skaner zgody.

Źródło: PPC Land

boty AIrobots.txtCloudflareCDNGPTBot