llms.txt: как закрыть или открыть сайт для ИИ-ботов — пошаговая инструкция для бизнеса

Что такое llms.txt и зачем он бизнесу

llms.txt — это новый стандарт файла для сайтов, который позволяет управлять доступом ИИ-ботов (ChatGPT, Perplexity, Яндекс Нейро и других) к вашему контенту. Если вы хотите, чтобы ваши услуги и продукты упоминались в ответах нейросетей — или наоборот, чтобы уникальный контент не попадал в ИИ — настройте llms.txt правильно. По данным Divitio, внедрение GEO-решений увеличило упоминания финтех-бренда в нейросетях на 35%. Значит, контроль над видимостью важен уже сейчас.

Чек-лист: как внедрить llms.txt за 1 день

• Проверьте, есть ли у вас файл llms.txt
  Зайдите в корень сайта и посмотрите: существует ли файл llms.txt? Если нет — создайте.
• Определите цели
  Решите: хотите ли вы открыться для ИИ-ботов (чтобы чаще попадать в их выдачу) или ограничить их доступ (если есть закрытый, уникальный контент).
• Составьте список ИИ-ботов
  Вот примеры популярных агентов:
  • GPTBot (OpenAI, ChatGPT)
  • AnthropicBot (Claude)
  • PerplexityBot
  • YandexBot-AI (Яндекс Нейро)
  Вы можете указать доступ для всех или отдельных ботов.
• Пропишите правила
  Добавьте в llms.txt строки для разрешения или запрета.
  Пример открыть доступ всем:
  User-Agent: *
Allow: /
  Пример запретить конкретным:
  User-Agent: GPTBot
Disallow: /private/
  Полная спецификация — на llmstxt.org.
• Разместите файл в корне сайта
  Файл должен быть доступен по адресу https://ваш-сайт.ru/llms.txt — живой пример можно посмотреть у нас: https://divitio.ru/llms.txt. Проверьте доступ через браузер.
• Проверьте, правильно ли работает
  Используйте сервисы проверки или просто попробуйте загрузить файл вручную. Через 1-2 недели проверьте, появились ли новые упоминания вашего сайта в нейросетях (например, спросите ChatGPT или Яндекс Нейро о вашей компании).
• Обновляйте файл по мере изменения политики
  Если вы меняете стратегию распространения контента (например, открываете новые разделы или наоборот закрываете старые) — обновляйте llms.txt.

Советы из практики Divitio

• Если вы работаете в конкурентной нише, открытие сайта для ИИ-ботов помогает быстро увеличить цифровое присутствие. В кейсе финтех-бренда мы увидели +35% упоминаний после внедрения GEO-решения и оптимизации доступа для ИИ.
• Разрешайте только те разделы, которые готовы «отдать» в нейросети: чаще всего это услуги, портфолио, описание команды. Документы и уникальные методики лучше ограничить.
• В отличие от robots.txt, llms.txt пока не поддерживается всеми ботами, но крупные игроки ИИ-рынка уже его читают. Адаптируйте настройки по мере развития стандарта.

Что даст вашему бизнесу грамотная настройка llms.txt

• Контроль — вы сами решаете, какой контент попадёт в базу знаний ИИ.
• Рост упоминаний — если открыть релевантные страницы, ИИ начнёт чаще рекомендовать ваш бренд в ответах.
• Снижение рисков — запретите индексацию закрытых данных, чтобы избежать утечек.

Заключение

Пока конкуренты игнорируют llms.txt, вы можете управлять видимостью вашего бизнеса в нейросетях — и сделать это буквально за день. Проверьте, какие разделы стоит открыть для ИИ-ботов, и реализуйте это с помощью простого текстового файла. Уже через 2–4 недели вы увидите первые изменения: по опыту Divitio, такие быстрые улучшения реальны.