клоакинг

Нарушение старое, но граница у него тонкая: современные сайты законно отдают разным посетителям разное — по региону, языку, устройству, авторизации. Разбираться приходится не в самом факте различий, а в том, по какому признаку они возникают.

Как клоакинг устроен технически

Подмена делается по признаку, который отличает робота от человека:

• User-Agent. Самый грубый вариант: если в заголовке робот, отдаём одну страницу, иначе другую.
• IP-адрес. Проверка по диапазонам поисковых систем; надёжнее для подменяющего и труднее обнаруживается.
• Поведение. Контент дорисовывается скриптом только после прокрутки или клика — робот видит одно, человек другое.
• Реферер. Пришедшему из поиска показывается не то, что видит робот при обходе.

Где граница с нормальной персонализацией

Региональные версии, выбор языка, мобильная вёрстка, контент за авторизацией, A/B-тесты — всё это не клоакинг, пока различие определяется свойством посетителя, а не тем, что это робот.

Простая проверка для спорного случая: показали бы вы роботу то же, что человеку, если бы он пришёл с теми же параметрами — тот же регион, язык, устройство? Если да, различие законное. Если робот получает специальную версию именно потому, что он робот, — это нарушение.

Отдельный случай — контент за платным доступом. Его отдают роботу не подменой, а структурированной разметкой, которая прямо сообщает о платной части.

Как клоакинг находят

• Обход с обычного User-Agent и с обычного IP: страница, отличающаяся от версии для робота, сразу видна.
• Сверка сохранённой копии в поиске с тем, что открывается по ссылке.
• Жалобы пользователей — в формулировке Яндекса рядом стоят мимикрия и социальная инженерия, и приходят они обычно одним потоком.
• Проверка инструментом вебмастера: как поисковая система видит страницу в сравнении с браузером.

Полный перечень нарушений с официальными формулировками — в справке Яндекса.

Непреднамеренный клоакинг

Чаще всего под нарушение попадают без умысла, и это стоит проверить до того, как придёт уведомление.

• Контент рисуется скриптом, а робот получает пустой каркас. Формально это разная информация.
• Защита от ботов отдаёт роботу заглушку или проверку, а человеку сайт.
• Старое правило в конфигурации сервера, оставшееся от прошлого подрядчика.
• Сервис оптимизации, подменяющий страницу «для скорости» по User-Agent.

Проверяется это одной командой: запросить страницу с User-Agent поискового робота и в обычном браузере, затем сравнить содержимое, а не внешний вид.