robots.txt
Индексация — видит ли поисковик то же, что человек, и попадут ли страницы в выдачу.
стоит поправить
чинится быстро
вес 5
Что это
robots.txt — первый файл, который запрашивает поисковый робот, придя на сайт. В нём указывают, какие разделы обходить не нужно: корзину, личный кабинет, результаты внутреннего поиска, служебные скрипты. Это не защита, а экономия: у робота ограничен лимит страниц на сайт.
Чем грозит
Это первое, что запрашивает робот. Без файла он обходит служебные разделы наравне с товарами и тратит на них лимит обхода.
Что делать
Положите в корень robots.txt с закрытыми служебными разделами и ссылкой на карту сайта.