Нейросети не читают ваш сайт, потому что вы им не разрешили: llms.txt, robots.txt и техническая база GEO

Представьте: вы открыли магазин, заказали вывеску, наняли продавцов — а дверь оставили запертой. Покупатели подходят, видят замок и уходят к соседу.

С нейросетями то же самое. ChatGPT, Perplexity и Яндекс Нейро присылают на ваш сайт своих роботов, а большинство владельцев даже не знают, пускают ли они их внутрь. Кто-то случайно закрыл вход ещё в 2023-м, кто-то вообще не оставил роботам карты помещения.

GEO — это работа над видимостью бренда в ответах нейросетей. И начинается она не с контента и не с бюджетов, а с двух текстовых файлов, которые делаются за вечер.

Кто вообще ходит на ваш сайт

У каждой нейросети есть свой робот-краулер. У ChatGPT это GPTBot, у Perplexity — PerplexityBot, у Claude — ClaudeBot. Они заходят на сайт примерно как робот Яндекса: читают страницы и складывают их в базу, из которой потом строятся ответы.

Первое, куда смотрит любой робот, — файл robots.txt в корне сайта: ваш-сайт.ru/robots.txt. Там прописано, кому можно заходить, а кому нет.

Частая ошибка. В 2023–2024 годах многие подрядчики массово закрывали сайты от ИИ-ботов «на всякий случай» — боялись, что контент украдут. Запреты остались в robots.txt и работают до сих пор. Проверьте: если там стоит Disallow для GPTBot — ChatGPT о вас просто не знает.

Откройте ваш-сайт.ru/robots.txt прямо сейчас и поищите строки с GPTBot, PerplexityBot, ClaudeBot. Если видите рядом Disallow — это и есть запертая дверь.

Как выглядит открытая дверь

Мы у себя сделали то, что советуем клиентам. Посмотрите, как это устроено: divitio.ru/robots.txt — там отдельно прописан Allow для GPTBot, PerplexityBot и ClaudeBot. Роботы нейросетей получают персональное приглашение, а не выясняют, можно ли им войти.

Это не гарантия упоминаний — но это нулевой шаг, без которого остальное не работает. Нейросеть не порекомендует компанию, о которой у неё нет данных.

На пальцах. robots.txt — это швейцар в бизнес-центре. Можно стоять в списке арендаторов, а можно числиться в чёрном списке. Нейросеть не будет ломиться: просто уйдёт к конкуренту, у которого дверь открыта.

llms.txt: визитка специально для нейросетей

Второй файл — llms.txt. Это сравнительно новый формат: текстовый файл в корне сайта, где вы сами, своими словами, объясняете нейросетям, кто вы, чем занимаетесь и какие страницы у вас самые важные.

Зачем это нужно? Робот нейросети читает сайт как есть: меню, баннеры, всплывающие окна, дубли страниц. Из этой каши ему ещё надо понять, чем вы вообще полезны. llms.txt снимает эту проблему — вы подаёте готовое резюме вместо того, чтобы робот собирал его сам по обрывкам.

Работающий пример — снова наш: divitio.ru/llms.txt. Там коротко описано, что делает компания, перечислены направления и ключевые страницы. Ничего сложного: обычный текст в формате markdown.

Пример. Допустим, у вас магазин на 400 карточек товаров. В llms.txt вы пишете: чем торгуете, по каким регионам доставляете, где лежат условия оплаты и возврата, и даёте ссылки на главные категории. Когда пользователь спросит нейросеть «где купить X с доставкой по вашему региону», у робота уже есть готовый ответ про вас — не надо угадывать по вёрстке.

Что ещё входит в техническую подготовку

Файлы — это вход. Дальше нейросети, как и поисковики, оценивают сам сайт. Базовый набор совпадает с классическим SEO:

Что проверить
  • robots.txt: нет запретов для GPTBot, PerplexityBot, ClaudeBot;
  • есть llms.txt с описанием бизнеса и ссылками на важные страницы;
  • sitemap.xml актуален и отдаётся без ошибок (пример: divitio.ru/sitemap.xml);
  • ключевые страницы доступны без авторизации и не закрыты в noindex;
  • важный контент отдаётся в HTML, а не подгружается только скриптами — часть роботов JavaScript не выполняет;
  • на страницах есть конкретика: цены, сроки, регионы, условия — нейросети цитируют факты, а не общие слова.

Последний пункт важнее, чем кажется. Нейросеть собирает ответ из конкретных утверждений. Страница «мы динамично развивающаяся компания с индивидуальным подходом» даёт ей ноль материала. Страница «доставляем по Казани за 4 часа, минимальный заказ 3 000 ₽» — уже цитату.

Частая ошибка. Прямо сейчас в SEO-каналах обсуждают приём «облачных аудитов» — ИИ-генерируемых отчётов на десятки страниц с шаблонными выводами. Выглядит внушительно, а по факту там нет ни одного действия. Техническая база GEO проверяется за час глазами: открыли robots.txt, llms.txt, sitemap — и всё видно.

Почему это работает в связке с SEO

Заметьте: половина чек-листа выше — это классика поисковой оптимизации. И это не совпадение. Нейросети во многом опираются на те же сигналы, что и поиск: структура сайта, доступность контента, понятные ответы на вопросы.

Поэтому техническая база даёт двойной эффект. Реальный пример из нашей практики: детейлинг-студия, работа по SEO — за 12 месяцев органический трафик вырос в 2,3 раза, с 7,7 тысячи до 18 тысячи визитов в месяц. Тот же фундамент — доступность, структура, конкретный контент — теперь работает и на видимость в нейросетях.

На пальцах. Техническая оптимизация — как фундамент дома. Его не видно ни с улицы, ни из окна, но от него зависит, сколько этажей вы сможете надстроить: классический поиск, ответы нейросетей, что угодно дальше.

Сколько это занимает по времени

По нашему опыту: техническая часть — robots.txt, llms.txt, sitemap, доступность страниц — это quick wins, 2–4 недели с учётом проверок. Рост органики на этом фундаменте — 2–3 месяца. Устойчивая видимость в ответах нейросетей — 4–6 месяцев, потому что нейросети обновляют свои данные медленнее поисковиков.

Кто обещает «попадёте в ChatGPT за неделю» — либо не понимает механику, либо понимает слишком хорошо, но не в вашу пользу.

Что сделать завтра утром

Три действия, до первого звонка подрядчику:

  • Откройте ваш-сайт.ru/robots.txt и проверьте, не заблокированы ли GPTBot, PerplexityBot, ClaudeBot.
  • Откройте ваш-сайт.ru/llms.txt. Если видите 404 — файла нет, а у конкурентов, возможно, уже есть.
  • Сравните с тем, как сделано у нас: divitio.ru/llms.txt и divitio.ru/robots.txt — можно прямо показать своему разработчику как образец.

Если хотите, чтобы это проверили и настроили за вас, — у нас GEO-аудит начинается от 39 000 ₽, пакеты сопровождения от 45 000 ₽ в месяц. Разберём, что нейросети видят о вас сейчас, и составим план: не отчёт на 50 страниц, а список конкретных действий со сроками.

Заявка

Обсудить проект

Оставьте имя и удобный номер — Дмитрий или менеджер Divitio перезвонит в течение рабочего дня, уточнит задачу и предложит шаги: SEO, GEO, интеграция или разработка CRM, AI для маркетинга.