Web běží za CDN: zkontrolujte nastavení blokace AI robotů (týká se i Googlebota)

Z hlaviček odpovědi vaší úvodní stránky se pozná, jestli web běží za CDN, u kterého se mění výchozí pravidla pro AI roboty. U Cloudflare to poznáme podle hlavičky server: cloudflare nebo podle přítomnosti cf-ray, cf-cache-status či cf-mitigated. Žádný požadavek navíc se kvůli tomu neposílá; hlavičky máme z crawlu, který stejně probíhá.

Nález se zvedne jen tehdy, když v robots.txt není žádná direktiva Content-Signal, ani blokující, ani povolující. Tohle potlačení je důležité: existence takové direktivy znamená, že se k nastavení AI robotů někdo dostal, a pak by vágní „možná se podívejte“ nic nepřidalo. Blokující variantu navíc řeší ACC-08 deterministicky. Bez toho by nález dostal prakticky každý web na Cloudflare, což je obrovská část internetu.

Co kontrola nedělá (a tohle je u ACC-09 to nejdůležitější):

• Netvrdí, že váš web AI roboty blokuje. Netvrdí ani, že neblokuje. Nevíme to a z venku to zjistit nejde.
• Nepředstírá cizího robota. Ověřit blokaci by šlo jedině tím, že bychom se vydávali za Googlebota nebo GPTBota a sledovali, jestli nás CDN pustí. To neděláme; je to přesně to chování, které zákazníkům sami vytýkáme.
• Nečte nastavení vašeho účtu u CDN. Nemáme k němu přístup a mít ho nechceme.
• Nerozpozná jiné CDN než ta, která jsou v config/cdn-ai-defaults.json. Přidání dalšího je čistě konfigurační změna, v kódu není žádné jméno poskytovatele.

Proto je to informativní nález, ne varování: je to návod, na co se podívat, ne zjištění o stavu vašeho webu. Skóre vám nesnižuje ani o bod; informativní nálezy mají v našem modelu váhu nula.

Tenhle štítek potřebuje vysvětlení, protože se sem hodí jen napůl. Důsledek, před kterým nález varuje, je nutná podmínka; to je doložené ze všeho nejlíp. Jestli se vás ten důsledek týká, změřit neumíme. Proto informativní závažnost a proto ten návod „jděte se podívat“.

K 15. 9. 2026 se u Cloudflare mění dva různé mechanismy, které se snadno zamění. Rozlišujeme je schválně, protože novinové přejímky je slily do jednoho a přidaly rozsah, který primární zdroj netvrdí:

Ta druhá řádka je ta závažná, a proto na ni nález míří přednostně. Googlebot mimo index totiž není jen ztráta klasického vyhledávání:

Aby stránka mohla být zobrazena jako podpůrný odkaz v AI Overviews nebo AI Mode, musí být zaindexovaná a způsobilá k zobrazení s úryvkem ve vyhledávání Google. Žádné další požadavky neexistují.Google Search Central, AI features

Jinými slovy: přepínač zapnutý kvůli „AI trénování“ může po 15. 9. 2026 vyřadit web z nutné podmínky pro zobrazení v AI přehledech Googlu. To je přesně ta záměna, kvůli které tenhle nález vznikl.

Poslední upřesnění, které je fér uvést: klasifikace Googlebota, Applebota a BingBota jako robotů „se smíšeným účelem“ je rozhodnutí Cloudflare, ne prohlášení Googlu, Applu nebo Microsoftu. Google sám žádný vyhrazený tréninkový crawler nemá; Google-Extended je pouhý opt-out token bez vlastního robota.

Je to práce na pět minut a nepotřebujete k ní nikoho dalšího. V panelu Cloudflare jděte na Security → Settings. Obě relevantní položky jsou na téhle jedné stránce, ne na dvou různých místech:

1. „Block AI bots“: starší jednoklikový přepínač. Pokud je zapnutý, je to ten, který od 15. 9. 2026 nově zasáhne i Googlebota. Rozhodněte, jestli to chcete.
2. „Configure AI bot policies“: jemnější nastavení po kategoriích (Search / Training / Agent). Tady se dá nechat Search povolený a omezit jen trénink.

Cloudflare k tomu sama publikovala přímý odkaz do panelu na tuhle stránku, takže hledat nemusíte.

Při rozhodování pomůže oddělit tři věci, které se pletou dohromady:

• Search: sem patří i Googlebot. Nechat zapnuté, pokud nechcete zmizet z vyhledávání i z AI přehledů zároveň.
• Training: použití obsahu k tréninku modelů. Legitimní věc k zablokování, když vám na tom záleží.
• Agent: roboti, kteří stránku načítají na dotaz uživatele právě teď. Tohle je ta kategorie, ze které vzniká citace v odpovědi asistenta. Blokovat ji znamená vzdát se jich.

A dvě poznámky navíc:

• Jestli žádné nastavení neměníte, poznamenejte si aspoň, co je zapnuté. Až se na to za rok bude někdo ptát, ušetří to hodinu.
• Nezaměňujte tohle nastavení s „AI Crawl Control“. To je jiná sekce panelu, která spravuje textové direktivy v robots.txt, a tou se zabývá ACC-08, ne tenhle nález.