O našem robotovi

Kdo jsme

GeoAuditBot patří službě Torumata (torumata.com), kterou provozuje Hatteria labs s.r.o. Audituje weby na žádost jejich vlastníků nebo správců. Pokud vás navštívil, je to proto, že si někdo, kdo tvrdí, že váš web spravuje, u nás spustil audit.

Tuto stránku najdete i v angličtině. English

Jak crawler funguje

Crawler dodržuje robots.txt, posílá maximálně 2 požadavky za sekundu na doménu a při chybách postupně prodlužuje prodlevu mezi pokusy. Identifikuje se User-Agentem GeoAuditBot/1.0 a odkazem zpátky na tuhle stránku.

Výjimku má ověřený vlastník domény: v nastavení svého projektu smí zapnout, že se robots.txt při jeho vlastních auditech ignoruje. Rychlostní limit, prodleva a hranice zadané domény platí i tak.

Respektujeme i direktivu Crawl-delay: pokud ji robots.txt uvádí, procházíme web tak pomalu, jak si řekne. Platí vždy ta pomalejší hodnota. Crawl-delay nás nikdy nezrychlí nad dva požadavky za sekundu. Výjimkou jsou nesmyslně vysoké hodnoty, třeba jeden požadavek za den: ty bychom nestihli dodržet dřív, než by audit vypršel, takže prodlevu zkrátíme a v reportu na to výslovně upozorníme.

Jak nás zablokovat

Pokud si nepřejete, aby crawler váš web navštěvoval, přidejte do robots.txt pravidlo níž.

Přidejte do robots.txt:

User-agent: GeoAuditBot
Disallow: /

Jak nás naopak povolit

Pokud chcete svůj web nechat auditovat, ale robots.txt našemu robotovi přístup zakazuje, audit nespustíme; dostupnost a robots.txt kontrolujeme dřív, než vám cokoli naúčtujeme.

Zákaz může být i nepřímý: pravidlo Disallow: / pro User-agent: * platí i pro nás.

Povolení přidáte do robots.txt takto:

User-agent: GeoAuditBot
Allow: /

Kontakt

Otázky ke crawleru: support@torumata.com.

Pokud náš robot váš web zatěžuje nebo se chová jinak, než tahle stránka popisuje, napište na abuse@torumata.com. Stížnostem dáváme přednost.