Карта сайта — список адресов, которые вы просите обойти. Если в ней редиректы, 404 и чужие зеркала, робот тратит время на мусор, а новые страницы ждут очереди. Проверим и формат, и сами адреса.
Google их игнорирует, Яндекс учитывает слабо. Вреда нет, но важнее верный lastmod: по нему роботы решают, какие страницы перечитать первыми. lastmod, равный сегодняшней дате у всех адресов сразу, роботы учатся не замечать.
До десяти, равномерно по всей карте, а не первые подряд: в начале карты обычно главная и разделы, которые живы всегда. Проверить каждую страницу — работа обхода сайта, а не разовой проверки.
Разберём первые 10 МБ и скажем об этом прямо. Файлы такого размера лучше разбивать на индекс из нескольких карт: и роботам, и серверу так проще.
Разбор файла по строкам, группы роботов, ошибки синтаксиса и ответ, открыт ли нужный адрес для Googlebot и YandexBot.
Цепочка переходов для адреса и всех вариантов домена: http и https, с www и без. Коды 301 и 302, петли, лишние шаги.
Какой код отдаёт адрес, все заголовки ответа, время до первого байта, IP, протокол и сжатие — глазами браузера или робота.
Сканирование сайта в кабинете сверяет карту с тем, что реально найдено по ссылкам: какие страницы есть только в карте, какие не попали в неё вовсе и какие из карты отвечают ошибкой.
