битая ссылка

Отдельная ошибка сама по себе катастрофой не является: интернет устроен так, что страницы исчезают. Проблемой это становится при объёме — когда робот раз за разом тратит обход на адреса, которых нет, а посетитель упирается в тупик там, где ждал товар.

Какие бывают и чем отличаются

• Внутренние. Ссылка со страницы сайта на его же несуществующий адрес: удалили товар, переименовали раздел, опечатались в адресе. Самые вредные, потому что их видно роботу на каждом обходе.
• Исходящие. Ссылка с вашего сайта на чужую исчезнувшую страницу. Прямого вреда ранжированию мало, вред репутационный: материал выглядит заброшенным.
• Входящие. Чужая ссылка на вашу удалённую страницу. Это потерянный вес: донор уже сослался, а принимать ссылку некому.
• Мягкая 404. Страницы нет, но сервер отвечает кодом 200 и показывает заглушку. Худший вариант: робот считает адрес живым и держит пустышку в индексе.

Чем это вредит на самом деле

Распространённое объяснение «за битые ссылки понижают» неверно: отдельного штрафа за них нет. Вред косвенный, но считаемый.

• Краулинговый бюджет. Каждый обход несуществующего адреса — обход, который не достался живой странице. На большом каталоге это заметно: новые товары индексируются неделями. Подробнее — в термине краулинговый бюджет.
• Потерянный ссылочный вес. Входящие ссылки на удалённые страницы не передают ничего, пока адрес отвечает ошибкой.
• Поведение. Посетитель, попавший на 404 из поиска, обычно возвращается в выдачу. Это ровно тот сигнал, который поведенческие факторы и фиксируют.

Как находить

• Панели вебмастера. Яндекс.Вебмастер показывает страницы с ошибками в разделе индексирования, Search Console — в отчёте об индексировании. Это то, что реально видел робот, а не предположение краулера.
• Свой краулер по сайту. Обход всех внутренних ссылок с фиксацией кодов ответа. Он же покажет мягкие 404: страницы с кодом 200 и текстом «не найдено».
• Логи сервера. Самый честный источник: какие адреса запрашивались и что им отвечали. Там же видно, какие 404 приходят из поиска, а какие от сканеров.
• Входящие ссылки. Выгрузка доноров и проверка, куда они ведут. Ссылки на удалённые страницы — первые кандидаты на редирект.

Что делать с найденным

Правило простое: редирект ставится там, где есть куда вести, и только туда, где содержание близкое.

• Есть замена по смыслу — 301-редирект на неё.
• Замены нет — оставить 404 или отдать 410. Массовый редирект всех удалённых адресов на главную хуже честной ошибки: поисковые системы распознают это как подмену и часто переводят такие адреса в мягкую 404.
• Внутренние ссылки править в источнике, а не закрывать редиректом: цепочка редиректов тратит обход так же, как и ошибка.
• Страница 404 должна работать как навигация: поиск по сайту, популярные разделы, контакты. Это единственное место, где её можно превратить из тупика в переход.