Screaming Frog SEO Spider: полный гид по настройке и использованию

Что такое Screaming Frog и зачем он нужен

Screaming Frog SEO Spider — настольный краулер для SEO, который сканирует сайт так же, как это делает поисковый робот. Он обходит страницы по ссылкам, собирает технические данные и помогает найти проблемы, незаметные при ручном анализе: битые ссылки, дублированный контент, ошибки в мета-тегах, некорректные редиректы и многое другое.

Инструмент существует в двух версиях: бесплатной (лимит — 500 URL) и платной (от £259 в год, безлимитный краулинг, расширенные интеграции). Для небольших сайтов хватает free-версии; для серьёзного SEO-продвижения нужна лицензия.

Важно понимать: Screaming Frog — инструмент сбора данных, а не их интерпретации. Чтобы аудит принёс пользу, полученные данные нужно уметь читать и превращать в задачи для разработчиков и контент-команды.

Установка и первый запуск

Программа работает на Windows, macOS и Linux. После скачивания с официального сайта screamingfrog.co.uk установка занимает несколько минут. При первом запуске стоит сразу выделить больше оперативной памяти, иначе на крупных сайтах краулер начнёт тормозить:

• Откройте File → Configuration → System → Allocated Memory.
• Установите значение не ниже 2–4 ГБ (зависит от доступной RAM на компьютере).
• Перезапустите программу, чтобы изменения вступили в силу.

Вводите URL сайта в строку вверху и нажимаете Start. Уже через несколько секунд в таблице начнут появляться данные по страницам.

Ключевые настройки перед аудитом

Запускать краулер «по умолчанию» можно, но тогда вы рискуете получить неполную или искажённую картину. Несколько настроек обязательны перед каждым сканированием.

User-Agent. По умолчанию краулер представляется как Screaming Frog, и некоторые сайты блокируют его или показывают ему другой контент. В разделе Configuration → User-Agent выберите Googlebot или создайте кастомный агент, чтобы видеть страницы глазами поисковика.

Crawl depth и скорость. Параметр Configuration → Speed регулирует количество запросов в секунду. На продакшн-сайтах не ставьте больше 5–10 запросов/с, чтобы не создавать нагрузку на сервер. Глубину сканирования ограничьте в Configuration → Crawl Depth, если сайт очень большой и вам нужны только первые уровни.

Исключения и включения. В Configuration → Exclude добавьте паттерны URL, которые не нужно сканировать: корзины, личные кабинеты, PDF-документы, параметры сессий. Это сэкономит время и не засорит отчёт.

Рендеринг JavaScript. Если сайт работает на React, Vue или Angular, часть контента может не подгружаться без JS. В Configuration → Spider → Rendering переключите режим на JavaScript. Учтите: это замедляет краулинг в 3–5 раз, поэтому используйте только при реальной необходимости.

Robots.txt и sitemap. Включите Configuration → Spider → Crawl outside of start folder, если нужно проверить внешние ссылки. Robots.txt краулер учитывает по умолчанию, но при аудите технических ошибок его лучше временно отключить: Configuration → Spider → Respect robots.txt → выключить.

Что анализировать после сканирования: приоритетные вкладки

После завершения краулинга в нижней части экрана появляется сводка. Разберём вкладки, которые важны в первую очередь.

• Response Codes. Фильтр по кодам 4xx и 5xx покажет битые страницы и серверные ошибки. Коды 3xx — цепочки редиректов: если перенаправлений больше двух в цепочке, это проблема.
• Page Titles. Отсутствующие, дублированные или слишком длинные/короткие заголовки — прямое попадание в ТЗ для контент-команды.
• Meta Description. Аналогично: смотрите на пустые и дублированные описания.
• H1. Фильтр Missing и Duplicate — самые частые ошибки на коммерческих сайтах.
• Images. Находит изображения без alt-атрибутов, слишком тяжёлые файлы, битые src.
• Canonicals. Проверяет корректность rel=canonical: нет ли самоканоникализации, не ведут ли каноники на несуществующие страницы.
• Directives. Noindex-страницы — убедитесь, что нужные страницы не закрыты от индексации случайно.

Для быстрой приоритизации используйте вкладку Overview — она показывает количество проблем по каждой категории одним экраном.

Интеграции: Google Analytics, Search Console и PageSpeed

Платная версия Screaming Frog позволяет подключить внешние источники данных прямо в интерфейсе, что превращает его в полноценный инструмент для аудита сайта screaming frog-методом с учётом реального трафика.

• Google Search Console. После авторизации в Configuration → API Access → Google Search Console к каждой странице добавятся данные по кликам, показам и позициям. Можно найти страницы с хорошим CTR, но техническими проблемами.
• Google Analytics. Интеграция через Configuration → API Access → Google Analytics позволяет видеть сессии, показатель отказов и конверсии рядом с техническими метриками. Удобно при аудите посадочных страниц.
• PageSpeed Insights API. В Configuration → API Access → PageSpeed Insights подключите ключ Google API — и к каждому URL добавятся оценки Core Web Vitals без ручной проверки каждой страницы отдельно.

Комбинация этих данных в одном экспорте — главное преимущество перед бесплатными альтернативами. Если вы занимаетесь комплексным SEO, такой подход экономит часы ручной работы.

Экспорт данных и типичные ошибки при работе с краулером

Результаты сканирования экспортируются через Reports или Export в правом верхнем углу. Форматы: CSV, Excel, Google Sheets (через API). Для передачи задач в команду удобнее всего фильтровать данные внутри программы и экспортировать только нужный срез — например, только страницы с дублированными title.

Несколько ошибок, которые встречаются у тех, кто только начинает работать с краулером для SEO:

• Сканировать сайт без настройки User-Agent. Робот получает другой контент — данные будут некорректными.
• Игнорировать параметры скорости. Агрессивный краулинг может положить небольшой сервер или вызвать блокировку IP.
• Анализировать только ошибки, игнорируя предупреждения. Многие критические проблемы (например, длина title 69 символов) попадают именно в предупреждения.
• Не сохранять конфигурацию. Используйте File → Configuration → Save As — это позволяет воспроизводить одинаковые условия при повторных аудитах.
• Запускать краулер раз и не повторять. Технический аудит — регулярный процесс. Новые страницы, обновления CMS, правки разработчиков постоянно создают новые ошибки.

Если данные из Screaming Frog нужно связать с бизнес-метриками и выстроить системную работу по улучшению сайта, часть рутины можно передать на AI-автоматизацию: формирование отчётов, постановка задач по шаблонам, отслеживание динамики.

Частые вопросы

Можно ли использовать Screaming Frog бесплатно для полноценного аудита?

Бесплатная версия ограничена 500 URL и не поддерживает API-интеграции. Для небольших лендингов или первичного знакомства с инструментом — достаточно. Для аудита сайта с сотнями страниц нужна платная лицензия.

Как часто нужно запускать краулинг?

Минимум раз в месяц для активно развивающихся сайтов и после каждого крупного обновления CMS, редизайна или миграции. Критические изменения (смена домена, переезд на HTTPS) требуют немедленной проверки.

Screaming Frog заменяет другие SEO-инструменты?

Нет. Это специализированный технический краулер. Он не заменяет инструменты для анализа ссылочного профиля (Ahrefs, Semrush), мониторинга позиций или аналитики трафика. Screaming Frog лучше всего работает в связке с Search Console и Google Analytics.