Выберите CMS — подставим правила, которые закрывают служебные разделы и не закрывают стили и скрипты. Добавьте свои пути и карту сайта и заберите готовый файл.
Полный адрес с https://, по одному в строке. Несколько карт — несколько строк.
По одному в строке: Disallow закрывает, Allow открывает. Попадут и в общую группу, и в группу Яндекса.
Проверить готовый файл — после загрузки на сайт: анализатор покажет, какие адреса открыты Яндексу и Google.
Целиком — нет. Там лежат стили, скрипты и картинки, без которых поисковик видит страницу сломанной и хуже оценивает её для телефона. Генератор закрывает служебные подкаталоги и оставляет открытым оформление.
Директива Яндекса: говорит, что параметр в адресе не меняет содержимое страницы. Адреса с utm_source, yclid или идентификатором сессии склеиваются с основным и не тратят время робота.
Надёжно — нет: он запрещает обход, а не показ. Для удаления из индекса нужен meta robots noindex на открытой для обхода странице.
Разбор файла по строкам, группы роботов, ошибки синтаксиса и ответ, открыт ли нужный адрес для Googlebot и YandexBot.
Находит карту сайта, разбирает индекс карт, считает адреса, даты и ошибки и выборочно проверяет, что адреса открываются.
Правила 301-редиректов для Apache и nginx: список старых и новых адресов, https, www, слеш на конце.
Аудит в кабинете следит, чтобы после выкатки robots.txt не закрыл сайт целиком — самая частая авария при переносе со стенда.
