llms.txt и robots.txt: неделя работы, чтобы нейросети вас читали

Клиент спросил ChatGPT, кому заказать вашу услугу. Нейросеть ответила. В списке — ваши конкуренты. Вас — нет. Не потому что вы хуже. А потому что бот нейросети зашёл на ваш сайт, наткнулся на запрет в robots.txt — или на его полное отсутствие — и ушёл ни с чем.

Хорошая новость: это чинится за неделю своими руками. Два текстовых файла, один вечер на каждый, и пара проверок. Разберём по шагам.

Шаг 1. Проверьте, кого вы пускаете на сайт

Откройте в браузере: ваш-сайт.ru/robots.txt. Это инструкция для всех роботов, которые к вам приходят. Многие сайты годами живут с файлом, где написано «запрещено всё» — наследие от старого подрядчика или настройка по умолчанию.

Для ботов нейросетей нужны явные разрешения. Проверьте, есть ли в файле строки для GPTBot (OpenAI), PerplexityBot, ClaudeBot (Anthropic). Если их нет — добавьте блоки вида: User-agent: GPTBot, ниже Allow: /.

Шаг 2. Сделайте llms.txt — визитку для нейросетей

Если robots.txt — это правила входа, то llms.txt — ваш рассказ о себе. Обычный текстовый файл в корне сайта: кто вы, чем занимаетесь, какие страницы главные, какие услуги и цены. Нейросети ищут его по адресу ваш-сайт.ru/llms.txt и используют как подсказку при ответах.

Пишите коротко и по делу: название, ниша, география, список ключевых страниц со ссылками, контакты. Никакой воды — файл читает машина, а не человек.

Шаг 3. Проверьте карту сайта

Откройте ваш-сайт.ru/sitemap.xml. Это оглавление вашего сайта для роботов. Если файла нет, он устарел или в нём страницы, которых давно не существует, — боты будут ходить вслепую.

Убедитесь, что sitemap свежий, содержит актуальные страницы и ссылка на него есть в robots.txt. У нас она тоже прописана — можете свериться: divitio.ru/sitemap.xml.

Шаг 4. Перепишите главные страницы под вопросы клиентов

Техника готова — теперь контент. Нейросеть цитирует те страницы, где на вопрос отвечают прямо и в первых абзацах. Откройте страницу вашей главной услуги и прочитайте первый экран: там ответ на вопрос клиента или рассуждения о «динамично развивающейся компании»?

Перепишите так, чтобы на вопрос «сколько стоит, за какой срок, для кого» был чёткий ответ в первых двух абзацах.

Сколько ждать результата

Честно: не завтра. Видимость в ответах нейросетей набирается 4–6 месяцев — ботам нужно время, чтобы переобойти сайт и обновить выдачу. Но фундамент закладывается именно этими файлами.

У нас это работает: для финтех-бренда после такой настройки упоминания в ответах нейросетей выросли на 35%. Механика та же самая — сначала открыть дверь роботам, потом дать им понятный текст.

Завтра утром: откройте ваш-сайт.ru/robots.txt и ваш-сайт.ru/llms.txt. Если второй файл не открылся — вы уже знаете, с чего начать неделю.