Карта сокровищ и свод правил для роботов: как подружить robots.txt и sitemap.xml на Tilda и вывести сайт в топ

Tilda — удобный конструктор, но с SEO-технической базой у неё традиционно есть нюансы. Один из самых частых — неправильно настроенные или вовсе отсутствующие robots.txt и sitemap.xml. Казалось бы, мелочи. Но именно из-за них поисковые роботы либо не находят нужные страницы, либо индексируют то, что индексировать не нужно. Разбираемся, как это исправить и почему это напрямую влияет на позиции.

Что такое robots.txt и sitemap.xml и зачем они вообще нужны

robots.txt — это файл-инструкция для поисковых роботов: что сканировать, а что обходить стороной. sitemap.xml — карта сайта, которая показывает роботу все важные страницы и помогает быстрее их проиндексировать. Вместе они формируют базовую техническую SEO-инфраструктуру любого сайта.

Без корректного robots.txt робот может тратить краулинговый бюджет на служебные страницы, дубли, формы и технические разделы — вместо того чтобы индексировать коммерческие и контентные страницы. Без sitemap.xml часть страниц рискует просто не попасть в индекс, особенно если сайт молодой или ссылочная структура слабая.

Специфика Tilda: где чаще всего возникают проблемы

Tilda автоматически генерирует sitemap.xml — это плюс. Но по умолчанию в карту сайта попадают все опубликованные страницы, включая технические: страницы «спасибо», скрытые лендинги, служебные разделы. Это засоряет карту и может навредить индексации. Кроме того, платформа не всегда корректно прописывает путь к sitemap в robots.txt — а значит, робот может просто не найти карту.

Ещё одна типичная история на Tilda — отсутствие явных директив Disallow для страниц, которые не должны индексироваться. Например, страницы с UTM-параметрами, дубли на поддоменах, тестовые версии. Всё это попадает в индекс и создаёт шум, который поисковики не любят.

Как правильно настроить robots.txt на Tilda

Базовая логика такая: разрешаем роботам всё нужное, закрываем всё лишнее, и явно указываем путь к sitemap. Вот минимальный рабочий шаблон:

• User-agent: * — правила применяются ко всем роботам
• Disallow: / для технических страниц (например, /form-success/, /test-page/)
• Allow: / — для всех остальных страниц, если используете выборочные запреты
• Sitemap: https://ваш-домен.ru/sitemap.xml — обязательная строка в конце файла

На Tilda robots.txt редактируется в настройках сайта: «SEO» → «Robots.txt». Важно: после любых изменений в структуре сайта — добавления новых страниц, скрытия старых — проверяйте файл заново. Это не разовая настройка, а живой документ.

Как привести sitemap.xml в порядок

Tilda генерирует sitemap автоматически, но нужно убедиться, что в неё попадает только то, что должно индексироваться. Для каждой страницы в настройках Tilda есть галочка «Не добавлять страницу в Sitemap» — используйте её для служебных и технических разделов.

• Исключите страницы «спасибо» после форм
• Исключите скрытые и тестовые страницы
• Проверьте, что в sitemap нет страниц с noindex
• После публикации изменений — отправьте обновлённую карту в Google Search Console и Яндекс.Вебмастер вручную

Отдельный момент: если у вас мультиязычный сайт или несколько версий страниц — sitemap должна содержать hreflang-атрибуты. Tilda это не делает автоматически, придётся либо дорабатывать вручную, либо использовать сторонние инструменты.

Почему это важно не только для SEO, но и для GEO

ИИ-поисковики и языковые модели — Perplexity, ChatGPT с веб-поиском, Яндекс с нейросетевыми ответами — тоже опираются на индексацию. Если страница не попала в индекс из-за кривого robots.txt или отсутствия в sitemap, она не будет источником для ИИ-ответов. GEO (продвижение в ИИ-выдаче) строится на той же технической базе, что и классическое SEO: сначала страница должна быть доступна и проиндексирована, и только потом она может попасть в ответы нейросетей.

Поэтому техническая SEO-гигиена — это не скучная рутина «для галочки», а фундамент для любого продвижения: и в классических поисковиках, и в ИИ-выдаче. Особенно если ваш сайт на Tilda, где автоматика иногда делает не то, что нужно.

Итог: что сделать прямо сейчас

Зайдите в настройки своего сайта на Tilda и проверьте три вещи: есть ли корректный robots.txt с указанием пути к sitemap, нет ли в sitemap лишних технических страниц, и отправлена ли карта сайта в поисковые системы. Это займёт 30 минут, но может существенно повлиять на скорость и качество индексации — а значит, и на позиции.

Если хотите выстроить техническое SEO системно — и заодно начать получать трафик из ИИ-поисковиков — команда Divitio занимается именно этим: от технического аудита до полноценного GEO-продвижения. Напишите нам, разберёмся с вашим сайтом.