Google: директива Cloudflare Content-Crawling: none в robots.txt не работает для Googlebot

Google официально подтвердил: директива Content-Crawling: none от Cloudflare в robots.txt не влияет на индексацию и сигналы качества контента со стороны Google. Параллельно выходят свежие данные о поведении ИИ-агентов в поиске, о роли Markdown для AI SEO и о новом формате llms-author.txt. Всё это — не абстрактные технические детали, а вещи, которые прямо сейчас меняют то, как ваш сайт воспринимается и роботами Google, и языковыми моделями.

Что случилось с Cloudflare и robots.txt

Cloudflare предлагает функцию «AI Scrapers and Crawlers» — блокировку ботов, которые собирают данные для обучения ИИ. При её включении в robots.txt появляется директива Content-Crawling: none. Многие владельцы сайтов решили, что это заодно защитит их контент от использования Google в качестве обучающих данных или хотя бы даст какой-то сигнал поисковику.

Google прямо ответил: эта директива не является стандартной и не распознаётся Googlebot. Она не влияет ни на обход страниц, ни на то, как Google оценивает контентные сигналы. Иными словами, если вы включили эту опцию в Cloudflare и думали, что как-то управляете отношениями с Google — это иллюзия. Googlebot продолжает работать по стандарту robots.txt, и нестандартные директивы он просто игнорирует.

Почему это важно прямо сейчас

Многие компании в 2024–2025 годах начали активно использовать инструменты Cloudflare для «защиты от ИИ». Это понятное желание — никто не хочет, чтобы его контент бесплатно скармливали языковым моделям. Но важно разделять два разных процесса: индексацию Google (которая работает по своим правилам) и сбор данных сторонними ИИ-ботами (где Cloudflare действительно может помочь).

Если вы перепутали одно с другим и думаете, что управляете видимостью в Google через настройки Cloudflare — вы работаете с ложным ощущением контроля. Это риск: реальные проблемы с индексацией могут оставаться незамеченными, пока вы уверены, что «всё настроено».

ИИ-агенты в поиске: что показало исследование

Search Engine Journal опубликовал разбор исследования, в котором ИИ-агенты прогнали через себя тысячи поисковых запросов. Ключевые выводы:

• ИИ-агенты предпочитают структурированный, чётко организованный контент — хаотичные страницы они обрабатывают хуже.
• Авторитетность источника по-прежнему важна: агенты чаще цитируют сайты с устойчивой репутацией в нише.
• Длина контента сама по себе не решает — важна плотность полезной информации на единицу текста.
• Страницы с чёткими заголовками, списками и выделенными ответами на конкретные вопросы получают приоритет при формировании ответов агентов.
• Скорость загрузки и техническая доступность страницы влияют на то, попадёт ли она в финальный ответ агента.

Markdown и llms-author.txt: новые инструменты для GEO

Google прокомментировал использование Markdown для AI SEO. Позиция простая: Markdown сам по себе не даёт прямого преимущества в ранжировании, но помогает языковым моделям лучше парсить и понимать структуру контента. Если ваш сайт отдаёт контент в чистом, структурированном виде — это снижает «трение» при обработке страницы ИИ-системами. Особенно актуально для сайтов, которые хотят попадать в AI Overview и ответы ИИ-ассистентов.

Отдельная история — llms-author.txt. Это предложение сообщества: файл, который указывает, кто является автором контента на сайте, специально для языковых моделей. Google пока не поддерживает этот формат официально и не использует его как сигнал ранжирования. Однако сам факт того, что такие инициативы появляются и обсуждаются на уровне Google — сигнал: атрибуция авторства становится важной темой в эпоху GEO.

Что делать прямо сейчас

Из всего вышесказанного вытекают конкретные шаги:

• Проверьте robots.txt — убедитесь, что настройки Cloudflare не создают у вас ложного ощущения контроля над индексацией Google. Стандартные директивы для Googlebot должны быть прописаны явно и корректно.
• Аудит структуры контента — пройдитесь по ключевым страницам: есть ли чёткие заголовки, списки, прямые ответы на вопросы? Это влияет и на классический SEO, и на попадание в ИИ-выдачу.
• Тестируйте Markdown-версии страниц — особенно если у вас технический или B2B-контент. Чистая структура помогает ИИ-агентам вас цитировать.
• Следите за темой авторства — llms-author.txt пока не стандарт, но разметка авторов через Schema.org уже работает и помогает формировать E-E-A-T сигналы.
• Разделяйте задачи: Cloudflare для защиты от нежелательных ИИ-ботов — окей. Управление индексацией Google — только через стандартные инструменты: robots.txt, Search Console, canonical, noindex.

Вывод

Мир SEO и GEO усложняется быстро: появляются новые форматы файлов, ИИ-агенты меняют логику поиска, а инструменты защиты контента создают неожиданные побочные эффекты. Главное сейчас — не гнаться за каждым новым форматом, а держать базу в порядке: техническая доступность, чёткая структура контента, корректный robots.txt и понимание того, как ваш сайт воспринимается и классическими краулерами, и языковыми моделями.

В Divitio мы помогаем бизнесу выстраивать стратегию, которая работает одновременно в классическом SEO и в ИИ-выдаче — от технического аудита до оптимизации контента под AI Overview и ответы языковых моделей. Если хотите разобраться, как ваш сайт выглядит в глазах ИИ-агентов — обращайтесь.