robots.txt nastavuje Content-Signal proti AI trénování/vstupu

V robots.txt (v tomtéž souboru, který audit stahuje pro ACC-01) se hledá řádek Content-Signal: a v něm tokeny ai-train a ai-input s blokující hodnotou. Typicky vypadá takhle:

Content-Signal: search=yes, ai-train=no, ai-input=no

Nález vznikne, když aspoň jeden z těch dvou tokenů stojí na no. Report vypíše konkrétní nalezené řádky i konkrétní tokeny, ne obecné konstatování. Názvy polí, hodnot i tokenů nejsou v kódu, jsou v config/cdn-ai-defaults.json pod content_signal, takže se dají upravit bez zásahu do programu.

Je to čistě textový rozbor vašeho vlastního souboru. Nic se neodhaduje, nikam se neposílá požadavek navíc a v žádném případě se nevydáváme za cizího robota, abychom si blokaci ověřili.

Co kontrola nedělá:

• Nesleduje token search. Ten řídí klasické vyhledávání a ACC-08 mluví jen o AI trénování a AI vstupu.
• Nezjišťuje, kdo ten řádek napsal. Může to být vaše rozhodnutí, ale taky vám ho mohl doplnit CDN sám přes spravovaný robots.txt, a to je přesně ten případ, kvůli kterému nález existuje.
• Neověřuje, jestli se tím někdo řídí. To ani ověřit nejde; viz níž.
• Nemá nic společného s tím, jestli web běží za CDN. Ten řádek si do souboru může napsat kdokoli ručně. Rizikem z výchozího nastavení CDN se zabývá ACC-09, což je jiná věc s jiným typem důkazu.

Nález je na úrovni celého webu, závažnost varování, ne kritická. Důvod je v další sekci a stojí za přečtení.

Content Signals Policy je konvence, kterou v roce 2025 zavedla Cloudflare: vedle pravidel „kam robot smí“ přidává do robots.txt deklaraci „k čemu se obsah smí použít“: zvlášť pro vyhledávání, zvlášť pro trénink modelu, zvlášť pro vložení do odpovědi v reálném čase.

Nakolik to funguje, doložené není, a říká to sama Cloudflare. Ve vlastní dokumentaci k tomu píše, že jde o signál, ne o nástroj, který by scraper zastavil. Žádný z provozovatelů jazykových modelů nedeklaruje, že Content Signals čte nebo respektuje. Neznamená to, že je řádek k ničemu: je to srozumitelně vyjádřená vůle majitele obsahu, což může mít váhu právní i reputační. Znamená to jen, že technicky nic nevynucuje.

Právě proto je závažnost jen varování, zatímco ACC-01 je kritický. Disallow: / robotovi, který se chová podle standardu, stažení stránky skutečně zabrání. Content-Signal: ai-train=no je prosba.

K čemu tedy nález je? K tomu, abyste věděli, že ta deklarace ve vašem souboru je. Dva nejčastější případy:

• Napsali jste ji vy a víte proč. Pak není co řešit: nález je konstatování, ne výtka. Berte ho jako připomenutí, že tuhle volbu máte, a že se týká i nástrojů, které vás jinak mohly citovat.
• Doplnil vám ji CDN. Spravovaný robots.txt umí Content Signals přidat za vás a stačí k tomu jeden přepínač v panelu, o kterém nemusíte vědět. Pak jste vyjádřili vůli, kterou jste nikdy nevyslovili.

A ještě rozlišení, které se snadno slévá dohromady: ai-train a ai-input nejsou totéž. První říká „netrénujte na mém obsahu“, druhé „nevkládejte můj obsah do odpovědi, kterou právě skládáte“. To druhé je přesně ten případ, kdy by vás asistent citoval. Kdo chce zůstat mimo tréninkové datové sady, ale objevovat se v odpovědích, má nastavit ai-train=no a ai-input=yes, a to je rozdíl, na kterém záleží víc, než se na první pohled zdá.

Nejdřív zjistěte, jestli ten řádek do souboru patří. Otevřete si https://vase-domena/robots.txt v prohlížeči a podívejte se, co tam skutečně je, ne to, co máte v repozitáři.

Když jste deklaraci nepsali, hledejte ji v panelu svého CDN pod spravovaným robots.txt nebo v sekci pro správu AI robotů. Bývá to jediný přepínač.

Pak se rozhodněte podle toho, co s obsahem chcete. Nejsou to dvě možnosti, ale tři:

Na co dát pozor:

• ai-input=no je to podstatné rozhodnutí, ne ai-train=no. První vás stojí zmínky v odpovědích, druhé jen místo v tréninkových datech. Když jste chtěli jen to druhé, opravte to.
• Řádek nepatří dovnitř skupiny User-agent. Píše se na samostatný řádek, stejně jako Sitemap:.
• Pokud jste deklaraci nechtěli a smažete ji, zkontrolujte i přepínač v CDN. Jinak vám ji spravovaný robots.txt při příštím sestavení vrátí zpátky.
• Nečekejte, že to samo o sobě něco zastaví. Kdo chce trénink skutečně vynutit, potřebuje k tomu blokaci na úrovni serveru nebo CDN; deklarace je vyjádření vůle, ne zámek.