WebsiteDirectorBot

Что это

Website Director — сервис наблюдения за сайтами. Робот приходит на сайт по трём поводам: его добавил в свой кабинет владелец, кто-то поставил сайт под наблюдение как чужой (так следят за конкурентами) или мы сами собираемся написать владельцу сайта о том, что на нём нашли (об этом — ниже). Во всех случаях мы смотрим на сайт снаружи — так же, как обычный посетитель.

Как нас узнать

Запросы с нашего сервера — проверки, аудит, снимки, обход страниц — идут с этой строкой User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 WebsiteDirectorBot/1.0 (+https://websitedirector.ru/bot)

Браузерная часть в начале — не маскировка: очень многие файрволы отбрасывают всё, чей User-Agent они не узнают, и без неё проверки не доходили бы до сайтов, владельцы которых сами их и заказали. Подпись в конце добавлена ровно затем, чтобы нас можно было отличить и настроить правило.

С каких адресов

Список постоянный — если в логах другой адрес, это не мы. Точки измерения в городах подписываются короче: site-probe/<версия>.

• 166.1.71.133 — основные проверки и аудит
• 192.124.171.28 — точка измерения, Владивосток
• 193.108.114.106 — точка измерения, Екатеринбург
• 189.74.125.184 — точка измерения, Краснодар
• 194.87.213.138 — точка измерения, Новосибирск
• 46.173.28.18 — точка измерения, Санкт-Петербург

Точки в городах нужны затем, чтобы отличить «сайт лежит» от «сайт не открывается у одного оператора». Каждая из них делает один запрос главной страницы за прогон.

Сколько запросов

• Проверка доступности — одна главная страница; для сайта под наблюдением не чаще раза в 60 минут.
• Технический аудит — примерно два десятка запросов, раз в неделю.
• Скриншот — раз в месяц.
• Сканирование всех страниц — только на сайте, чьё владение подтверждено в нашем кабинете, не чаще трёх раз в сутки и с ограничением скорости, которое задаёт сам владелец.

Чего мы не делаем

• Не обходим защиту от ботов: не решаем капчи и не подделываем отпечаток браузера. Сайт, закрытый антиботом, мы просто отмечаем как закрытый и меряем то, что видно снаружи, — зону домена, сертификат, доступность.
• Поисковым роботом представляемся ровно в одном запросе: раз в неделю, при полном аудите сайта из кабинета, главная страница запрашивается с подписью Googlebot — чтобы сравнить, отдаёт ли сайт поисковику то же, что людям. Сайтам за защитой, которая сверяет роботов по DNS и закрывает подделку, этот запрос не отправляется. Ещё так может спросить человек в инструменте «Код ответа сервера», если сам выберет такую подпись.
• Не сканируем чужие сайты: обход всех страниц доступен только после подтверждения владения доменом.
• Не перебираем служебные адреса (/.git, /wp-admin и подобные) на чужих сайтах — это делается только на своём подтверждённом домене и по прямому запросу.
• Обход всех страниц соблюдает robots.txt, и отключить это в интерфейсе нельзя.

Проверки перед письмом

Иногда мы пишем владельцам сайтов: «вот что мы нашли на вашем сайте». Чтобы в таком письме были только проверенные цифры, перед ним мы какое-то время смотрим, открывается ли главная страница. Эти запросы подписаны коротко и без браузерной части:

WebsiteDirectorBot/1.0 (+https://websitedirector.ru/bot)

• Только главная страница, один запрос GET, без повторов и без чтения остальных страниц.
• Первую неделю — раз в 15 минут, потом раз в час; к одному сайту — не чаще раза в 10 минут.
• Если главная не ответила, её один раз открывает наша точка в другом городе — чтобы отличить падение сайта от сбоя у нас.
• Проверки прекращаются сами: после отказа, отписки или регистрации — сразу, иначе через несколько недель.

Как разрешить проверки

Если сайт ваш и стоит защита от ботов, проверки будут упираться в неё. Чтобы этого не было, достаточно одного правила в вашем файрволе или у вашего антибот-провайдера — по любому признаку:

• по User-Agent — пропускать запросы, содержащие WebsiteDirectorBot;
• по адресам — из списка выше;
• по заголовку — мы отправляем X-WD-Verify с токеном подтверждения владения вашим сайтом. Токен виден в кабинете, на странице подтверждения домена, и не совпадает ни с чьим другим — это самый узкий способ, он не открывает доступ никому, кроме проверок вашего сайта.

Как запретить

Обход всех страниц останавливается обычным правилом в robots.txt:

User-agent: WebsiteDirectorBot
Disallow: /

Проверки, которые приходят к одному адресу по расписанию, — доступность главной, аудит раз в неделю, снимок раз в месяц — robots.txt не читают: это небольшое число запросов, и их заказал тот, кто поставил сайт под наблюдение. Если нужно убрать и их — напишите нам, отключим наблюдение за доменом полностью.

Не проверять мой сайт перед письмами

Впишите домен — мы перестанем его проверять перед письмами и не будем писать по нему. Подтверждать владение не нужно. Наблюдение, которое заказал владелец сайта в своём кабинете, этим не отключается.

Не проверять и не писать

Защита от роботов Проходит автоматически — ничего отмечать не нужно

Связаться

info@websitedirector.ru — пишите, если робот мешает, ведёт себя не так, как здесь написано, или вы хотите, чтобы мы перестали приходить. Отвечаем в рабочие дни.