Про нашого бота

Хто ми

GeoAuditBot належить сервісу Torumata (torumata.com), яким керує Hatteria labs s.r.o. Він аудитує сайти на прохання їхніх власників або адміністраторів. Якщо він відвідав вас, це тому, що хтось, хто стверджує, що керує вашим сайтом, запустив у нас аудит.

Ця сторінка також доступна англійською. English

Як поводиться краулер

Краулер дотримується robots.txt, надсилає не більше 2 запитів на секунду на домен і поступово збільшує паузу після помилок. Він представляється User-Agent GeoAuditBot/1.0 і посиланням назад на цю сторінку.

Виняток має підтверджений власник домену: у налаштуваннях свого проєкту він може увімкнути ігнорування robots.txt для власних аудитів. Ліміт швидкості, затримка та обмеження заданим доменом усе одно діють.

Ми дотримуємося й директиви Crawl-delay: якщо вона є у вашому robots.txt, обходимо сайт настільки повільно, наскільки вона просить. Завжди діє повільніше значення: Crawl-delay ніколи не пришвидшить нас понад два запити на секунду. Єдиним винятком є безглуздо великі значення, скажімо один запит на добу: витримати їх повністю тривало б довше, ніж сам аудит, тож ми скорочуємо затримку і прямо пишемо про це у звіті.

Як його заблокувати

Якщо ви не хочете, щоб краулер відвідував ваш сайт, додайте до robots.txt правило нижче.

Додайте це до вашого robots.txt:

User-agent: GeoAuditBot
Disallow: /

Як натомість дозволити нам доступ

Якщо ви хочете перевірити свій сайт, але robots.txt забороняє доступ нашому боту, ми не запустимо аудит; доступність і robots.txt ми перевіряємо раніше, ніж щось вам нарахуємо.

Заборона може бути й непрямою: правило Disallow: / для User-agent: * стосується і нас.

Щоб дозволити доступ, додайте до robots.txt:

User-agent: GeoAuditBot
Allow: /

Контакти

Питання щодо краулера: support@torumata.com.

Якщо наш робот навантажує ваш сайт або поводиться інакше, ніж описано на цій сторінці, напишіть на abuse@torumata.com. Скарги розглядаємо першочергово.