Cloudflare mění 15. září výchozí pravidla pro AI crawlery

Cloudflare stojí před podstatnou částí webu a 15. září 2026 mění výchozí pravidla, podle kterých roboty umělé inteligence pouští, nebo nepouští dál. Titulky k tomu za poslední dva měsíce napsaly, že „Cloudflare začne blokovat AI crawlery". Je to zkratka, která je v jednom směru přehnaná a v jiném naopak podceňuje, co se stane. Následující text vychází z vlastních textů Cloudflare a Googlu (viz Zdroje, ověřeno 9. 9. 2026) a končí kontrolou, kterou si na svém webu uděláte za dvě minuty.

Tři kategorie místo jednoho přepínače

Cloudflare od 1. července 2026 netřídí roboty na „AI" a „ne-AI", ale podle toho, co s obsahem dělají. Vznikly tři kategorie, které jde nastavit samostatně, a to i na bezplatném tarifu:

• Search: robot indexuje obsah, aby na něj uměl později odpovídat. U téhle kategorie Cloudflare píše, že majitel webu za to má dostat návštěvnost nebo jinou přiměřenou protihodnotu.
• Agent: automat, který jedná v reálném čase za konkrétního člověka. Patří sem fetch boti chatů (ChatGPT-User) i agenti ovládající prohlížeč.
• Training: crawler, který obsah odnáší na trénink nebo doladění modelu.

U každé kategorie jsou tři možnosti: neblokovat, blokovat jen na stránkách, které zobrazují reklamu, nebo blokovat všude. K 15. září se mění to, jak jsou tyhle možnosti přednastavené, a mění se dvě různé věci, které se v přejatých článcích slévají do jedné.

Změna první: výchozí nastavení pro nově připojené domény

První změna se týká výchozích hodnot. Cloudflare ji formuluje takto:

For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads, while Search will remain allowed by default.Cloudflare, Your site, your rules (1. 7. 2026)

Česky: u nově připojených domén budou kategorie Training a Agent blokované, ale jen na stránkách, které zobrazují reklamu. Search zůstane povolený. Právě ta dvě omezení, „nové domény" a „stránky s reklamou", se ze zkratky „Cloudflare blokuje AI crawlery" vytratila jako první. Web bez reklamy tahle výchozí hodnota nezmění a existující zónu podle znění Cloudflare také ne.

Poctivá poznámka ke zdrojům: část zpravodajství uvádí, že se nové výchozí nastavení dotkne i existujících webů na bezplatném tarifu. Ve vlastních textech Cloudflare, na blogu ani v dokumentaci, tohle nestojí; obojí mluví o „new domains onboarding to Cloudflare". Nepřebíráme proto tvrzení, které se v primárním zdroji ověřit nepodařilo. Kontrola na konci článku dá odpověď pro váš konkrétní web bez ohledu na to, kdo má pravdu.

Změna druhá: dopadá i na weby, které jsou na Cloudflare roky

Druhá změna je tišší a týká se nastavení, které už máte. Od 15. září se robot zvládající víc věcí najednou posuzuje podle všech svých chování a platí nejpřísnější pravidlo, které na něj sedne. Dokumentace k původnímu přepínači to říká přímo:

Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training, including the legacy “Block AI bots” option.Cloudflare Docs, Block AI bots

Prakticky: kdo si kdykoli v minulosti zapnul jednoklikový přepínač Block AI bots, měl dosud smíšené roboty z blokace vyňaté; dokumentace to popisovala větou „This option excludes mixed-purpose bots that are used both for Training and for Search." Od 15. září vyňaté nebudou. Cloudflare v dokumentaci jmenuje konkrétně Googlebot, Applebot a BingBot.

Jedna přesnost, na které záleží: zařazení Googlebota mezi tréninkové roboty je klasifikace Cloudflare, ne prohlášení Googlu. Google samostatný tréninkový crawler nemá. Google-Extended je pouhý token do robots.txt bez vlastního robota a neurčuje, jestli a jak Googlebot web prochází. Rozdíl mezi opt-out tokenem a skutečným crawlerem rozebíráme podrobně v článku AI crawlery a robots.txt.

Proč je zablokovaný Googlebot dražší, než vypadá

Kdo blokaci tréninku zapnutou má, měl by si dopočítat druhou stranu rovnice. Google má ve své dokumentaci napsáno:

To be eligible to be shown as a supporting link in AI Overviews or AI Mode, a page must be indexed and eligible to be shown in Google Search with a snippet. There are no additional requirements.Google Search Central, AI features and your website

Být v indexu je tedy nutná podmínka, ne jedna z mnoha optimalizací. Nedostupnost pro Googlebota nestojí jen klasické pozice ve vyhledávání; bere zároveň způsobilost objevit se jako odkazovaný zdroj v AI Overviews a v AI Mode. Je to jedno z mála tvrzení o viditelnosti v AI, které stojí přímo na dokumentaci provozovatele, a ne na odhadu nebo korelaci.

Zároveň proporce, protože přehánět tady nemá cenu: většinu webů 15. září nijak nezasáhne. Zasáhne ty, kdo mají blokaci tréninku zapnutou, často ještě z vlny kolem roku 2025, kdy se přepínač zapínal jedním kliknutím a nikdo se k němu od té doby nevrátil.

Dvouminutová kontrola vlastního webu

Jestli se vás změna týká, zjistíte ve vlastním účtu. Odhadovat to nemá smysl, když je odpověď na pár kliknutí:

1. Přihlaste se do dashboardu Cloudflare a vyberte doménu (zónu), o kterou jde.
2. Otevřete Security → Settings. Cloudflare v changelogu odkazuje přímo na cestu dash.cloudflare.com/?to=/:account/:zone/security/settings.
3. Najděte kartu s nastavením AI provozu. Uvidíte buď starší přepínač Block AI bots, nebo novou trojici Search / Agent / Training.
4. U každé kategorie si přečtěte, která ze tří možností je zvolená: neblokovat, blokovat jen na stránkách s reklamou, nebo blokovat všude.
5. Když je blokace tréninku zapnutá, ať starým přepínačem, nebo kategorií Training, rozhodněte se vědomě, jestli to tak chcete. Od 15. září dopadne i na Googlebot, Applebot a BingBot.
6. Kdo nové výchozí nastavení odmítnout chce, může to podle Cloudflare označit v týchž Security settings kdykoli do 15. září.

Kdo Cloudflare vůbec nepoužívá, tuhle změnu řešit nemusí. Stojí ale za ověření, jestli CDN nespravuje někdo jiný. U webů převzatých od agentury nebo hostera je věta „my na Cloudflare nejsme" překvapivě často mylná. Napoví hlavička odpovědi server: cloudflare nebo záznamy DNS u domény.

Druhá kontrola patří do Google Search Console: sledujte, jestli se stránky dál procházejí a indexují. Blokace na úrovni CDN se totiž neprojeví chybou na webu; lidem web funguje dál, protože blokace míří na roboty. Projeví se poklesem procházení, a to je pomalejší a nenápadnější signál než rozbitá stránka.

Co se zvenčí ověřit nedá

Tady je hranice, kterou přiznáme rovnou. Jestli konkrétní web pouští konkrétního AI crawlera dál, se zvenčí spolehlivě zjistit nedá. Server se rozhoduje podle user-agenta a IP adresy návštěvníka, takže jediný způsob, jak si odpověď vynutit, je poslat požadavek, který se za GPTBota nebo Googlebota vydává. To neděláme. Náš crawler se představuje vlastním user-agentem a za cizího robota se zásadně nevydává.

Poznat jde jen stopy: odpověď 403 z edge vrstvy, uvítací stránka s ověřováním návštěvníka, hlavičky CDN. To jsou indicie, ne důkaz, a nástroj, který vám z nich udělá jistotu, přehání. Jediné místo s definitivní odpovědí je nastavení ve vašem účtu, tedy postup o odstavec výš.

Co s tím hlídá Torumata

Blokace na úrovni CDN je z pohledu auditu další vrstva téhož problému, který řešíme od začátku: co všechno stojí mezi vaším obsahem a robotem, který ho má načíst. Audit dnes porovnává robots.txt proti aktuálnímu seznamu AI crawlerů, kontroluje indexovatelnost jednotlivých stránek a hlídá, jestli je obsah čitelný bez spuštění JavaScriptu.

Nastavení na CDN je čtvrté místo, kde se o tomtéž rozhoduje, a jediné z těch čtyř, které majitel webu nemá ve vlastních souborech. Nikdo na něj proto při běžné revizi obsahu nenarazí; přijde se na něj typicky až podle výpadku v Search Console o několik týdnů později. Proto jsme do auditu přidali dvě samostatné kontroly ve skupině dostupnosti pro roboty, a záměrně dvě, protože každá stojí na jinak silném důkazu.

ACC-08 (varování) čte v robots.txt řádek Content-Signal a hlásí, když je u tokenů ai-train nebo ai-input nastavené no. To je tvrdý doklad, protože ho lze přečíst přímo ze souboru, a nález zároveň říká, že jde o preferenci, ne o technicky vynucenou blokaci, a že ten řádek tam nemusel přidat majitel, ale jeho CDN.

ACC-09 (informace) rozpozná z hlaviček odpovědi, že web běží za CDN, jehož výchozí nastavení se mění, a pošle vás si to ověřit. Nic víc si nedovolí tvrdit, protože ta nastavení jsou na úrovni účtu a nemají v robots.txt ani v hlavičkách žádný projev. Kontrola tedy sama napíše, že skutečný stav zvenčí ověřit nedokáže. Je to méně, než by si zákazník přál, ale je to pravda, a nástroj, který u jedné položky přizná, kde končí jeho možnosti, se dá brát vážně ve zbytku.

Změna sama o sobě katastrofa není. Je to posun výchozích hodnot, se kterým jde nesouhlasit a přenastavit si ho. Nepříjemné je jen to, že se týká přepínače, ke kterému se roky nikdo nevrací, a že se projeví tiše. Dvě minuty ve vašem dashboardu to vyřeší jednou provždy.

Chcete vědět, co dalšího dnes stojí mezi vaším obsahem a roboty, které ho čtou? Spusťte bezplatný audit.