Техническая база GEO: какие файлы на сайте читают нейросети и как их настроить за один день

Представьте: к вам в офис пришёл важный гость, а на двери висит табличка «посторонним вход воспрещён», плана этажа нет, а визитки лежат в сейфе. Гость постоит и уйдёт к соседям.

Именно так выглядит большинство сайтов для роботов нейросетей. GPTBot от OpenAI, PerplexityBot, ClaudeBot — они ходят по сайтам так же, как роботы Яндекса и Google. И первым делом читают два скромных текстовых файла: robots.txt и llms.txt.

GEO — это работа над тем, чтобы нейросети находили, понимали и упоминали ваш бренд в ответах. И начинается она не с текстов и не со ссылок, а с этих двух файлов. Разберём по шагам.

Robots.txt: кого вы вообще пускаете на сайт

Частая картина на аудите: владелец хочет попадать в ответы ChatGPT, а в robots.txt у него стоит запрет на всех «лишних» ботов. Кто-то когда-то закрыл сайт от парсеров — и заодно закрыл от нейросетей.

Проверьте прямо сейчас: откройте ваш-сайт.ru/robots.txt и поищите три имени — GPTBot, PerplexityBot, ClaudeBot. Если рядом с ними стоит Disallow: / — нейросети ваш сайт не читают.

Как выглядит рабочий вариант, посмотрите у нас: https://divitio.ru/robots.txt. Там для ботов нейросетей явно прописан Allow. Мы сделали это на своём сайте раньше, чем начали советовать клиентам.

Llms.txt: визитка для нейросети

Если robots.txt — это пропускной пункт, то llms.txt — ваша визитка и план здания. Это обычный текстовый файл в корне сайта, где вы сами объясняете нейросети: кто вы, чем занимаетесь и какие страницы самые важные.

Формат простой: заголовок, короткое описание компании, список ключевых страниц со ссылками. Пишется за час, а даёт нейросети готовую выжимку вместо того, чтобы она собирала картину по крошкам.

Живой пример опять же у нас: https://divitio.ru/llms.txt. Откройте — увидите структуру, которую можно повторить под свой сайт.

Что положить в llms.txt

Допустим, у вас производственная компания с каталогом на 300 позиций. Не нужно перечислять все триста. Нейросети важно другое:

Принцип один: в файле должно быть то, что вы бы рассказали о компании за первые две минуты встречи. Не больше.

Sitemap.xml: карта, по которой ходят все

Третий файл — sitemap.xml. Его знают все SEO-специалисты, но проверяют редко. А между тем роботы нейросетей пользуются им так же, как поисковые.

Типичные проблемы: в карте висят страницы, которые давно удалены; нет новых разделов; карта вообще не обновлялась с запуска сайта. Проверьте: ваш-сайт.ru/sitemap.xml. Наш вариант для сравнения: https://divitio.ru/sitemap.xml.

Почему файлы — только фундамент

Честно: один robots.txt не сделает вас героем ответов ChatGPT. Это как открыть дверь магазина — необходимо, но недостаточно. Дальше нейросеть смотрит на содержимое: понятно ли написано, есть ли конкретика, совпадает ли информация о вас на разных площадках.

Но без фундамента всё остальное работает вполсилы. Мы видим это на аудитах постоянно: компания тратит бюджет на контент, а боты нейросетей на сайт не попадают — дверь закрыта.

По срокам ориентируйтесь так: техническая настройка занимает день-два, первые изменения в том, как нейросети описывают ваш бренд, видны через 4–6 месяцев регулярной работы. Это не быстрый канал, это канал с долгим эффектом — как хорошая репутация.

Что сделать завтра утром

Три действия, каждое — не больше получаса:

• Откройте ваш-сайт.ru/robots.txt и убедитесь, что GPTBot, PerplexityBot и ClaudeBot не заблокированы
• Создайте llms.txt по образцу нашего файла и положите в корень сайта
• Сверьте sitemap.xml с реальной структурой: убрать мёртвые страницы, добавить новые разделы

Если хотите, чтобы это сделала команда, которая настроила эти файлы сначала себе, — у нас есть GEO-аудит от 39 000 ₽. Проверим не только файлы, но и весь путь нейросети к вашему бренду: от технической доступности до того, как вас описывают на внешних площадках. Пишите — разберём ваш сайт и скажем, где закрыты двери.