Читаем robots.txt так, как его читают поисковые роботы: по группам, с приоритетом самого длинного правила. Для любого адреса покажем, открыт он или закрыт и какая строка файла это решила.
Более длинное: «Allow: /bitrix/js/» длиннее «Disallow: /bitrix/» и открывает скрипты, хотя каталог закрыт. При равной длине побеждает разрешающее. Так читают файл и Google, и Яндекс, по стандарту RFC 9309.
Нет. Яндекс перестал её учитывать в 2018 году: главное зеркало теперь определяется постоянным редиректом 301. Строка не вредит, но и не работает — инструмент отметит её как устаревшую.
robots.txt запрещает обход, а не показ. Если на страницу ведут ссылки, она может остаться в выдаче без описания. Чтобы убрать страницу из индекса, её нужно открыть для обхода и отдать meta robots noindex или заголовок X-Robots-Tag.
Код 404 роботы понимают как «ограничений нет». А вот ошибка 5xx для Google означает «сайт временно закрыт целиком»: обход приостанавливается, пока файл не начнёт отвечать.
Находит карту сайта, разбирает индекс карт, считает адреса, даты и ошибки и выборочно проверяет, что адреса открываются.
robots.txt под вашу CMS: WordPress, 1С-Битрикс, OpenCart, Joomla, MODX. Служебные разделы, параметры, карта сайта.
Цепочка переходов для адреса и всех вариантов домена: http и https, с www и без. Коды 301 и 302, петли, лишние шаги.
Кабинет перечитывает robots.txt с каждым аудитом и предупреждает, если после выкатки сайт оказался закрыт от роботов: такие правки обычно замечают по упавшему трафику через неделю.
