Когда ваш сайт невидим для нейросетей
Вас спрашивают в ChatGPT или Perplexity, а в ответ — советы по конкурентам. При этом сайт в поиске есть, заявки идут, но в ИИ-окружении — будто пустое место. Проблема нередкая: многие сайты до сих пор не открыты для ИИ-ботов, которые собирают данные не так, как классические поисковики.
ИИ-боты (ChatGPT, Perplexity, Claude и Яндекс Нейро) читают ваши страницы для формирования ответов и рекомендаций. Если их не пускать — о вас просто не узнают. Один файл, которого не было ещё год назад, стал стандартом: llms.txt.
Что такое llms.txt и зачем он нужен
Файл llms.txt — это список разрешений и запретов для нейросетевых ботов. Он лежит в корне сайта, например, ваш-сайт.ru/llms.txt. Аналог robots.txt, но только для ИИ. Официально поддерживается уже всеми крупными ботами, и если его нет — часть ИИ просто не индексирует ваш контент.
Не хотите разбираться сами?
Divitio закроет задачу под ключ — Результаты SEO-продвижения: что получает ваш сайт и бизнес. Аудит и план работ — бесплатно.
Обсудить проект →Пошаговая инструкция: как открыть сайт для ИИ за 1 день
- Есть ли на вашем сайте файл llms.txt и корректен ли он
- Открыты ли разделы для нужных ботов
- Прописаны ли в robots.txt Allow для GPTBot, PerplexityBot, ClaudeBot
- Есть ли sitemap.xml для ускорения обхода
Шаг 1. Создайте файл llms.txt
Откройте любой текстовый редактор и добавьте строки:
User-agent: *
Allow: /
Этим вы разрешаете всем ИИ-ботам читать сайт целиком. Хотите закрыть что-то — пишите Disallow: /папка/.
Шаг 2. Дайте доступ в robots.txt
Добавьте строки для ключевых ИИ-ботов в файл robots.txt:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
Это повысит шансы, что контент попадёт в выборку ответов ChatGPT, Perplexity и Claude.
Шаг 3. Проверьте sitemap.xml
Убедитесь, что карта сайта актуальна и доступна по адресу ваш-сайт.ru/sitemap.xml. Это ускоряет индексацию как поисковиками, так и ИИ-ботами.
Дополнительно: что ещё может помочь
- Проверьте, нет ли случайных запретов в .htaccess или настройках сервера для этих User-agent
- Периодически анализируйте логи: видят ли боты ваш файл и sitemap.xml
- Обновляйте llms.txt и robots.txt при изменении структуры сайта
Что сделать завтра утром
Потратьте 30 минут: создайте или проверьте llms.txt и robots.txt на сайте. Откройте нужные разделы для ключевых ИИ-ботов. Добавьте sitemap.xml, если его не было. Ваш сайт станет видимым для ChatGPT, Perplexity и других ИИ уже на этой неделе — и вы не упустите клиентов, которые ищут вас не только через поисковики.