U obecných dotazů se vaše doména neobjevila mezi zdroji odpovědi AI

Tohle je jediná kontrola v celém auditu, která neposuzuje váš web, ale výsledek. Modul položí jazykovým modelům s přístupem k webu sérii obecných dotazů (tedy takových, ve kterých není jméno vaší značky, jaké by položil zákazník, který vás ještě nezná) a podívá se, jestli se mezi zdroji, ze kterých model odpovídal, objevila vaše doména.

Dotazy jdou přes rozhraní API výrobce, ne přes jeho aplikaci. To je důležitý rozdíl: není to totéž, co uvidíte ve svém ChatGPT nebo Claudovi. Aplikace přidává modelu vlastní pokyny, dotaz si po svém upraví a bere v potaz paměť, polohu i vaše přihlášení, takže dva lidé dostanou na stejnou otázku různou odpověď. Přes API jde dotaz pokaždé bez téhle historie, což je jediný způsob, jak dostat opakovatelné a srovnatelné číslo.

Kdo vyhledává, se liší podle modelu. U některých modelů si zdroje hledá sám výrobce svým nástrojem. U jiných hledá vyhledávač služby OpenRouter, přes kterou modely voláme, a model dostane jeho výsledky. V druhém případě tedy neměříme, co by model našel sám. V reportu je u každé AI napsané, která z těch dvou možností platila.

Nález vznikne, jen když jsou splněny obě podmínky: existoval aspoň jeden platný obecný dotaz (bez chyby) a ani u jednoho z nich se doména mezi zdroji neobjevila. Když platné obecné dotazy nejsou žádné, kontrola mlčí; „nikdy necitováno“ by bez nich bylo nepodložené tvrzení.

Doména se počítá jako citovaná, když je mezi zdroji, které model použil, ne jen když ji zmíní v textu odpovědi. Je to mírnější a poctivější měřítko.

Co kontrola nedělá:

• Neptá se všech modelů. Je to několik konkrétních modelů s vyhledáváním, ne průřez trhem.
• Neměří odpověď ve vaší aplikaci. Jde o čistý dotaz přes API, bez pokynů aplikace, bez paměti, bez polohy a bez přihlášení.
• Neopakuje dotazy kvůli druhému názoru. Každý padne jednou. Jediná výjimka: když model vyhledával, ale nevrátil ani jeden zdroj, položí se dotaz ještě jednou, a pokud ani pak zdroje nepřijdou, vede se jako nezměřený a do skóre nevstupuje.
• Nekontroluje značkové dotazy v tomhle nálezu; ty modul sleduje zvlášť a nezpůsobují ho.
• Nezjistí, proč citovaní nejste. To je úkol zbytku reportu.

Nález je na úrovni celého webu a je informativní: skóre nesnižuje ani o bod. Proč, vysvětluje další sekce.

Tenhle nález potřebuje jiné vysvětlení než ostatní, protože není doporučením s důkazem, je to měření výsledku. A to měření má meze, které musíte znát dřív, než z něj uděláte závěr.

Mez první a nejdůležitější: jazykový model není deterministický. Položíte-li tentýž dotaz dvakrát, můžete dostat dvě různé sady zdrojů. Náš výsledek tedy neříká „vaše doména se nikdy neobjeví“, ale „při těchhle dotazech, v tuhle chvíli, u tohohle modelu se neobjevila“.

Mez druhá: vzorek dotazů je malý a formulace dotazu mění výsledek zásadně. Jiná formulace téže otázky může vrátit jiné zdroje.

Mez třetí: neobjevit se u obecného dotazu je normální. Na obecnou otázku model obvykle sáhne po třech až pěti zdrojích z celého webu. Nebýt mezi nimi není známka vady, je to výchozí stav pro drtivou většinu webů na světě.

Mez čtvrtá a snadno přehlédnutelná: měříme API, ne aplikaci. Když si stejnou otázku položíte ve svém ChatGPT a dostanete jinou odpověď než my, není to chyba ani na jedné straně. Aplikace kolem modelu obaluje vlastní pokyny, přepis dotazu, paměť a vaši polohu; my se ptáme bez toho všeho, protože jinak by číslo nešlo srovnat ani samo se sebou o měsíc později.

Právě proto je nález informativní a nesnižuje skóre. Srážet body za to, že jste nevyhráli loterii s pěti místy, by bylo nepoctivé.

A co s tím tedy dělat? Nález sám vám neřekne příčinu. Ale směr, kterým se dívat, doložený je, a je to jediné místo v celém oboru, kde existuje recenzovaný experiment: Princeton (KDD 2024, 10 000 dotazů) naměřil, že viditelnost v generovaných odpovědích zvedly citáty v textu (+41 %), konkrétní statistiky (+33 %) a odkazy na zdroje (+28 %). To poslední měří AUTH-01; první dvě dnes neměříme vůbec.

Nejdřív očekávání: tenhle nález se neopravuje jedním zásahem a může trvat měsíce, než se výsledek změní. Kdo vám slíbí opak, prodává vám něco, co doložit nelze.

Co má smysl udělat, seřazeno podle síly důkazu:

1. Ověřte, že vás vůbec může někdo přečíst. Nálezy ACC-01, ACC-03 a ACC-07 jsou nutná podmínka: dokud jsou otevřené, nemá zbytek smysl. Web, na který robot nesmí, nebude citovaný nikdy. Podobně se dívejte i na ACC-05 (obsah za přihlášením). Je to varování, protože stojí na heuristice, ale co robot nepřečte, to necituje.
2. Doplňte do textu konkrétní čísla místo obecných tvrzení. „Rychlé dodání“ nikdo necituje. „Doručení do dvou pracovních dnů u 94 % objednávek“ ano, protože je to odpověď, ne slib.
3. Doplňte citace a odkazy na zdroje (AUTH-01). Tvrzení s doloženým původem je použitelnější než tvrzení bez něj.
4. Pište obsah na otázky, které lidé skutečně kladou. Podívejte se, jaké obecné dotazy audit použil, a zeptejte se, jestli na ně váš web vůbec někde odpovídá.

A jedna věc, kterou byste od nás jinde neslyšeli: může se stát, že je všechno v pořádku a citovaní nebudete. U obecných dotazů soutěžíte s celým internetem o pět míst. Pro většinu webů je smysluplnější cíl objevit se u konkrétních, úzkých dotazů ve vašem oboru než u těch nejobecnějších, a tam je šance nesrovnatelně vyšší.