SEO Дмитрий Сериков 3 мин чтения

robots.txt: тонкая настройка доступа для SEO и нейросетей

Почему нейросети не видят ваш сайт Сайт в топе, но в ответах ChatGPT или Perplexity о вас ни слова.

Почему нейросети не видят ваш сайт

Сайт в топе, но в ответах ChatGPT или Perplexity о вас ни слова. Хотя вложились в SEO, заявки идут — но упоминания бренда в нейросетях нулевые.
Один из частых виновников — настройки доступа для ботов.

Файл robots.txt — «проходная» для поисковых систем и ИИ-ассистентов. Он управляет, кто и что может читать на вашем сайте.

Частая ошибка. По умолчанию в robots.txt часто стоит блокировка всех нестандартных ботов. В результате нейросети не индексируют ваш контент — и в их ответах фигурируют конкуренты.

Что делает robots.txt

Это текстовый файл в корне сайта (ваш-сайт.ru/robots.txt), в котором прописаны правила для поисковых и прочих ботов. Можно разрешать или запрещать им доступ к разделам, отдельным страницам или всему сайту.

На пальцах. Представьте: к вашей компании подходят журналисты, но охранник на проходной впускает только тех, кого знает в лицо. Остальные разворачиваются и пишут материалы про других.

В классическом SEO robots.txt настраивают ради Яндекса и Google. Но сейчас в игру вошли боты нейросетей: ChatGPT (GPTBot), PerplexityBot, ClaudeBot. Если им закрыт доступ — ваш бренд остается невидимкой в их базе знаний.

Как проверить и открыть сайт для нейросетей

Что проверить
  • Открыт ли robots.txt на адресе ваш-сайт.ru/robots.txt
  • Нет ли строки Disallow: / для нестандартных user-agent
  • Добавлены ли правила Allow для GPTBot, PerplexityBot, ClaudeBot

Пример строки для разрешения доступа:

User-agent: GPTBot
Allow: /

И так для каждого интересующего вас бота. Полный список user-agent лучше уточнять на их официальных страницах.

Пример. На divitio.ru вы найдёте открытый robots.txt — с явными разрешениями для нейросетей. Посмотрите: https://divitio.ru/robots.txt

Кому это особенно важно

Бизнесам, которые хотят попадать в подборки ChatGPT, Perplexity и других крупных ассистентов. Для локальных и B2B-ниш часто именно эти источники формируют первые рекомендации потенциальным клиентам.

Если сайт недоступен для нейросетей — конкуренты окажутся в приоритете, даже если вы лидеры в поиске.

Что сделать завтра утром

  • Зайдите на ваш-сайт.ru/robots.txt
  • Проверьте, нет ли лишних запретов для ботов
  • Добавьте явные Allow для GPTBot, PerplexityBot, ClaudeBot
  • Проверьте изменения через пару дней — появились ли упоминания бренда в ответах нейросетей

Эта работа — как отдать визитку на профильной конференции: занимает 10 минут, но даёт долгосрочный эффект для узнаваемости и лидогенерации через новые каналы.

← Все статьи блога

Услуги по теме

Читайте также

Заявка

Обсудить проект

Оставьте имя и удобный номер — Дмитрий или менеджер Divitio перезвонит в течение рабочего дня, уточнит задачу и предложит шаги: SEO, GEO, интеграция или разработка CRM, AI для маркетинга.

+7 (938) 124-59-49
divitio@yandex.ru
Telegram
MAX