Адреса, которые не кончаются
Структура — дотягивается ли посетитель и робот до страницы и сколько для этого нужно кликов.
Что это
Форма адреса, у которой нет конца: каждая обойдённая страница даёт следующую, сервер отвечает успехом на любое значение, а содержимое повторяет уже показанное. Типичный вид — «?page=99999» или календарь на любую дату. Вывод сделан не по виду адреса, а по обходу: мы прошли по этой форме, сверили ответы и получили копии уже известных страниц. Обычные дубли — например варианты товара «?oid=» — сюда НЕ входят: их конечное число, мы обходим их все, и они названы отдельной находкой.
Чем грозит
Робот поисковика лимита не спрашивает. Он будет ходить по этим адресам ровно тем же обходом, которым должен находить ваши товары и статьи, — и не закончит никогда. Наше сканирование по ним тоже дальше не идёт: пришлось бы выбирать между ними и остальным сайтом.
Что делать
На несуществующей странице сервер должен отвечать 404, а не показывать последнюю. У календаря — ограничьте диапазон датами, где что-то есть. Если форма нужна людям, но не поисковику, закройте её в robots.txt.