Firewall hostingu: nevíme, jestli pouští AI roboty

Mezi webem a AI asistentem stojí tři brány: robots.txt (měří ACC-01 a ACC-10), síť před webem, typicky Cloudflare (ACC-09), a firewall hostingu. Ten poslední se zvenčí změřit nedá. Náš crawler chodí z našich adres, ne z adres OpenAI nebo Anthropicu, a vydávat se za cizího robota odmítáme. Zevnitř to ale jde: aplikace na serveru vidí každý požadavek, který k ní dorazil.

Plugin Torumata pro WordPress (od verze 0.3.0, když v něm správce počítání zapne) proto počítá požadavky podle hlavičky User-Agent a jednou denně nám pošle denní souhrny: kolik požadavků se představilo jako GPTBot, ClaudeBot, Googlebot a další roboti z našeho seznamu, kdy byl poslední a jaký stav mu web vrátil. K tomu jedno číslo za den: kolik bylo všech ostatních požadavků. Nález pracuje s posledními 30 dny (config/bot-visits.json).

• Robot dorazil: firewall hostingu tyto požadavky pustil. Nález vypíše počet, datum posledního požadavku a stav odpovědi.
• Nedorazil žádný robot, kterého robots.txt pouští, a web má běžný provoz (aspoň 300 ostatních požadavků a 14 dní s daty, config/bot-visits.json#absence_signal): je to signál, ne důkaz blokace.
• Dat nebo provozu je málo: nález řekne, že se z toho nedá nic vyvodit.
• Plugin nic neposlal: firewall hostingu je otevřená otázka, ne „v pořádku“.

Co kontrola nedělá:

• Neověřuje, že požadavek poslal skutečný robot. User-Agent jde podvrhnout jedním parametrem, takže počítáme požadavky s daným jménem. Že dorazil požadavek s hlavičkou GPTBot, dokazuje, že firewall pustil ten požadavek; nedokazuje, že pouští i adresy OpenAI.
• Nevidí požadavky, které vyřídila cache před WordPressem (cache serveru, CDN, plugin pro cache). U webu s takovou cache je počet nižší než skutečnost a ticho méně průkazné.
• Nečte IP adresy, adresy stránek ani nic o návštěvnících. Plugin posílá jen denní souhrny; proto ověření podle adresy (reverzní DNS) nedělá.
• Nemění skóre. Nález je informativní, váha nula: data pocházejí z webu zákazníka, ne z našeho měření.

Stejně jako u ACC-09 se sem štítek hodí jen napůl. Důsledek, na který nález míří, je nutná podmínka: robot, kterého firewall nepustí, si stránku nestáhne, a Googlebot zablokovaný firewallem web nezaindexuje. Google ve vlastní dokumentaci uvádí, že stránka se v AI Overviews nebo AI Mode může objevit jen tehdy, je-li zaindexovaná a způsobilá k zobrazení s úryvkem.

Aby stránka mohla být zobrazena jako podpůrný odkaz v AI Overviews nebo AI Mode, musí být zaindexovaná a způsobilá k zobrazení s úryvkem ve vyhledávání Google. Žádné další požadavky neexistují.Google Search Central, AI features

Jestli se vás to týká, víme jen tak dobře, jak dobrá jsou data z pluginu. Proto informativní závažnost a proto rozlišení mezi „dorazil“ (pozorování), „nikdo nedorazil“ (signál) a „nemáme data“ (otevřená otázka). Že hostingy blokují adresy podle pověsti i u AI služeb, jsme doložili u hostingu Forpsi, který to 16. 9. 2026 písemně potvrdil; jak časté je to jinde, jsme neměřili.

Postup podle toho, co nález ukázal:

1. Nemáte data: na WordPressu nainstalujte plugin Torumata 0.3.0+, v Nastavení → Torumata zapněte počítání požadavků AI robotů a v dashboardu Torumata založte API klíč s rozsahy „Stažení souborů“ a „Odesílání návštěv AI robotů“. Výsledek uvidíte při dalším auditu, nejlépe po dvou až čtyřech týdnech provozu.
2. Robot dostává 403 nebo 503: požadavek firewallem hostingu prošel, odmítl ho web. Hledejte bezpečnostní plugin (Wordfence, All In One WP Security) nebo pravidlo v .htaccess.
3. Povolený robot nedorazil: zeptejte se hostingu písemně, jestli jeho firewall blokuje adresy podle pověsti (například podle AbuseIPDB), jestli to platí i pro oficiálně zveřejněné adresy robotů OpenAI, Anthropicu a Googlu, a jestli jde udělat výjimku pro váš server.

Bez WordPressu zbývá otázka na hosting a vlastní přístupový log serveru: hledejte v něm požadavky s GPTBot, ClaudeBot nebo Googlebot v hlavičce User-Agent.