robots.txt zakazuje robotům pro reklamu

Audit projde robots.txt stejně jako u ACC-01 a hledá skupiny, které zakazují celý web (Disallow: / nebo Disallow: /* bez Allow: /) robotům, kteří slouží reklamě. V konfiguraci config/ai-bots.json mají účel ads_validation a dnes jsou dva: OAI-AdsBot (OpenAI, reklama v ChatGPT) a Meta-ExternalAds (Meta).

Do 4. 11. 2026 je hlídal ACC-01 spolu s ostatními AI roboty, takže web, který zakázal jen robota pro reklamu, dostal kritický nález „blokujete AI crawlery“. To nebyla pravda: s vyhledáváním ani s odpověďmi AI asistentů tihle roboti nesouvisí. Proto mají vlastní informativní nález.

Co kontrola nedělá:

• Nemění skóre. Nález je informativní, váha nula.
• Neověřuje, jestli inzerujete. To z webu nepoznáme, proto nález jen říká, koho se zákaz může týkat.
• Neověřuje, jestli se robot pravidlem řídí. U OAI-AdsBot to OpenAI v dokumentaci neuvádí, viz níž.
• Částečné zákazy (Disallow: /akce/) nehlásí, stejně jako ACC-01.

Štítek „nedoloženo“ tu neznamená, že by nález něco sliboval bez opory. Znamená, že žádný efekt na viditelnost v AI neslibuje vůbec: popisuje jen, co váš soubor zakazuje a komu to může vadit. Opora je dokumentace obou provozovatelů. OpenAI o svém robotovi píše (ověřeno 4. 11. 2026):

OAI-AdsBot slouží k ověření bezpečnosti webových stránek zadaných jako reklama v ChatGPT. Když zadáte reklamu, OpenAI může navštívit cílovou stránku, aby ověřilo, že splňuje naše pravidla. Obsah cílové stránky můžeme použít také k rozhodnutí, kdy je reklamu nejvhodnější uživatelům ukázat. OAI-AdsBot navštěvuje jen stránky zadané jako reklama a data, která shromáždí, se nepoužívají k trénování základních modelů generativní AI.OpenAI, Overview of OpenAI crawlers (přeloženo)

Meta o robotovi Meta-ExternalAds píše jen to, že prochází web kvůli zlepšování reklamy a dalších obchodních produktů a služeb. Větu „jen stránky zadané jako reklama“ u něj Meta nemá, a proto ji nález Metě nepřipisuje. Na citace v odpovědích Meta AI má Meta jiného robota, Meta-WebIndexer, stejně jako OpenAI má na vyhledávání OAI-SearchBot.

Co nevíme: jestli se OAI-AdsBot souborem robots.txt řídí. Úvod stránky OpenAI jmenuje jako tokeny pro robots.txt jen OAI-SearchBot a GPTBot, a v části o OAI-AdsBot o robots.txt nestojí nic. Neslibujeme proto, že zákaz u něj platí, ani že povolení něco změní. U Meta-ExternalAds Meta uvádí obecně, že své roboty zablokujete zápisem do robots.txt, a v ukázkovém souboru mu dává vlastní skupinu.

Pokud v ChatGPT ani u Mety neinzerujete a nechystáte se, nemusíte nic měnit; zákaz klidně nechte. Opravený robots.txt, který audit nabízí ke stažení, ho ostatně také nechává být.

Pokud inzerujete, povolte příslušného robota aspoň pro stránky, na které reklama vede. Nejjednodušší je vlastní skupina:

User-agent: OAI-AdsBot
Allow: /

User-agent: Meta-ExternalAds
Allow: /

Cílová stránka reklamy by navíc měla jít otevřít bez přihlášení a bez přesměrování mimo vaši doménu; to už ale tahle kontrola neměří.