Screaming Frog: как использовать для аудита сайта

Что такое Screaming Frog и зачем он нужен

Screaming Frog SEO Spider — десктопный краулер сайта, который имитирует поведение поискового робота: обходит все страницы, собирает данные о статусах ответа, мета-тегах, заголовках, ссылках, редиректах и десятках других параметров. Инструмент выпускается британской компанией Screaming Frog Ltd и существует в двух версиях: бесплатной (до 500 URL) и платной (без ограничений, около £259/год).

Для большинства задач технического аудита сайта Screaming Frog закрывает 70–80% проверок: он быстрее ручного обхода, нагляднее облачных сервисов и не требует доступа к серверу. Именно поэтому он стал де-факто стандартом среди SEO-специалистов — и в России, и за рубежом.

Первый запуск: настройки перед обходом

Перед тем как запускать краулер сайта, потратьте пять минут на конфигурацию — это сэкономит часы на разборе лишних данных.

• User-agent. По умолчанию стоит собственный агент Screaming Frog. Если хотите видеть сайт глазами Googlebot, смените его в Configuration → User-Agent.
• Исключения. Добавьте в Configuration → Exclude паттерны URL, которые не нужны в отчёте: фильтры каталога, параметры сессий, UTM-метки. Иначе краулер уйдёт в бесконечный обход динамических страниц.
• Crawl limits. На крупных сайтах (от 50 000 страниц) ограничьте глубину или скорость обхода, чтобы не создавать нагрузку на сервер.
• JavaScript rendering. Если сайт на React, Vue или Angular, включите Configuration → Spider → Rendering → JavaScript. Потребуется больше ресурсов, но данные будут точнее.
• Подключение Google Search Console и Analytics. В Configuration → API Access можно связать аккаунты — тогда в отчётах появятся данные о трафике и индексации прямо рядом с техническими параметрами.

После настройки введите адрес сайта в строку и нажмите Start. Пока идёт обход, в нижней части интерфейса отображается прогресс в реальном времени.

Ключевые отчёты для технического аудита

Когда краулинг завершён, основная работа начинается в разделе Reports и фильтрах основной таблицы. Вот на что смотреть в первую очередь при Screaming Frog аудите.

• Коды ответа (Response Codes). Вкладка Response Codes → фильтры 4xx и 5xx. Страницы с ошибками 404 и 500 теряют ссылочный вес и ухудшают пользовательский опыт. Экспортируйте список и передайте разработчикам.
• Редиректы. Фильтр 3xx покажет все перенаправления. Цепочки редиректов длиннее одного звена замедляют загрузку и «размывают» ссылочный вес — их нужно сокращать до прямого редиректа.
• Meta Title и Meta Description. Вкладка Page Titles → фильтры Missing, Duplicate, Over 60 characters. Аналогично для Meta Description. Дубли и отсутствие мета-тегов — одна из самых распространённых проблем.
• Заголовки H1. Вкладка H1 → фильтры Missing и Duplicate. H1 должен быть один на странице и уникальным для каждого URL.
• Canonical. Вкладка Directives → Canonicals. Проверьте, нет ли self-referencing canonical на страницах с параметрами и не указывают ли canonical на несуществующие URL.
• Изображения. Вкладка Images → фильтры Missing Alt Text и Over 100kb. Незаполненный alt-текст — потери в поиске по изображениям; тяжёлые файлы — прямой удар по Core Web Vitals.
• Внутренние ссылки. Отчёт Reports → Crawl Overview и вкладка Inlinks покажут страницы с единственной входящей ссылкой или вовсе без неё — «orphan pages», которые сложно найти и проиндексировать.

Продвинутые функции, которые экономят время

Базовый обход — это только половина возможностей Screaming Frog SEO Spider.

Custom Extraction. С помощью XPath или CSS-селекторов можно вытащить любой элемент страницы: цену товара, дату публикации, рейтинг. Полезно, когда CMS не предоставляет удобный экспорт.

Custom Search. Ищет на страницах заданный текст или паттерн регулярного выражения. Типичный кейс — найти все страницы, где в коде остался тестовый фрагмент «noindex» или «under construction».

Сравнение краулов. Функция Reports → Compare Crawls позволяет загрузить два сохранённых обхода и увидеть, что изменилось: появились ли новые ошибки, закрыты ли старые. Удобно для регулярного мониторинга после технических работ.

Визуализация структуры. Раздел Crawl Visualisation строит интерактивный граф ссылок. На нём сразу видны «острова» — кластеры страниц, слабо связанные с остальным сайтом.

Типичные ошибки при работе со Screaming Frog

Даже опытные специалисты иногда получают неточные данные из-за неправильной настройки. Вот частые промахи:

• Запуск без robots.txt. По умолчанию краулер уважает robots.txt. Если нужно увидеть закрытые разделы, отключите ограничение в Configuration → Spider → Crawl, но не публикуйте такой отчёт как «состояние для поисковиков».
• Игнорирование nofollow-ссылок. Screaming Frog по умолчанию не переходит по nofollow-ссылкам. Включите опцию Follow Nofollow Links, чтобы видеть полную карту переходов.
• Краулинг с продакшн-аккаунта без ограничения скорости. На высоконагруженных интернет-магазинах агрессивный обход может замедлить сайт для реальных пользователей. Устанавливайте задержку между запросами.
• Анализ только главного домена. Субдомены обходятся отдельно. Если блог живёт на blog.example.ru, запускайте второй краулинг и сравнивайте результаты вручную.
• Экспорт без фильтрации. Отдавать клиенту или разработчикам «сырой» CSV на 50 000 строк бессмысленно. Экспортируйте только проблемные URL с поясняющим комментарием в соседнем столбце.

Screaming Frog как часть комплексного аудита

Краулер — мощный инструмент, но он не заменяет полноценный технический SEO-аудит. Screaming Frog не проверит скорость загрузки на реальных устройствах, не оценит качество контента и не выявит проблемы с ссылочным профилем. Поэтому профессиональный аудит всегда комбинирует краулер с PageSpeed Insights, Google Search Console, Ahrefs или Semrush и ручным анализом.

Регулярность важна не меньше разовой проверки. Рекомендуется запускать Screaming Frog аудит минимум раз в квартал и обязательно — после крупных технических изменений: переезда на HTTPS, смены CMS, редизайна или массового обновления URL. Только так можно поймать регрессии раньше, чем они скажутся на позициях.

Если вы выстраиваете системную работу с органическим трафиком, имеет смысл рассмотреть подключение к SEO-продвижению с регулярным техническим мониторингом — это позволит фиксировать изменения в динамике, а не устранять накопившиеся проблемы раз в год.

Частые вопросы

Для небольших сайтов до 500 страниц — да. Для интернет-магазинов и корпоративных порталов лимит быстро заканчивается, и без платной лицензии вы получите неполную картину. Годовая стоимость оправдывается уже на первом аудите среднего проекта.

Минимум раз в квартал для поддерживающего мониторинга и обязательно после любых технических изменений на сайте: редиректов, обновлений CMS, смены структуры URL или добавления новых разделов.

По умолчанию нет. Если нужно проверить закрытые разделы, отключите соблюдение robots.txt в настройках краулера, но помните: эти страницы поисковики не индексируют, поэтому анализируйте их отдельно от «видимой» части сайта.