Задержка обхода в robots.txt
Индексация — видит ли поисковик то же, что человек, и попадут ли страницы в выдачу.
стоит поправить
чинится быстро
вес 3
Что это
Директива Crawl-delay просит робота выдерживать паузу между запросами. Её добавляли, когда обход перегружал слабые серверы. Яндекс перестал её учитывать в 2018 году, Google не поддерживал никогда, а скорость обхода теперь настраивается в панелях вебмастера.
Чем грозит
На современных роботов директива не действует, зато у оставшихся ботов пауза в несколько секунд растягивает полный обход сайта на недели.
Что делать
Уберите Crawl-delay из robots.txt, а скорость обхода при необходимости задайте в Яндекс.Вебмастере.