Screaming Frog SEO Spider — как провести технический аудит сайта самостоятельно?

Описание программы Screaming Frog SEO Spider

Screaming Frog SEO Spider (или еще его называют «СЕО Паук») - это инструмент для проведения технического SEO-аудита сайтов в автоматическом режиме. Цель такого аудита заключается в проверке соответствия сайта требованиям поисковых систем и выявлении ошибок, которые могут замедлять его продвижение. Эту программу используют как SEO-специалисты, так и веб-мастера или аналитики. Но использовать ее без каких-то определенных знаний в СЕО совсем не трудно.

Screaming Frog SEO Spider разработана британским SEO-агентством Screaming Frog в 2010 году. Она поддерживает пять языков: английский, немецкий, французский, испанский и итальянский. Эта программа работает на компьютерах под управлением операционных систем Windows, macOS и Linux.

Screaming Frog SEO Spider собирает и анализирует данные о сайте и ссылках на нем. Она оценивает состояние HTTP, внутренних и внешних URL-адресов, а также обнаруживает дубликаты и нерабочие ссылки. После каждой операции программа создает отчет, который можно сохранить или сконвертировать в формат CSV, XLS, XLSX и GSHEET.

В общей сложности, программа предлагает 29 инструментов для аудита сайта. В данной статье мы рассмотрим самые популярные инструменты Screaming Frog SEO Spider.

У данного программного продукта имеются две версии: бесплатная и платная. В рамках бесплатного тарифа пользователь может проводить сканирование до 500 адресов и использовать 7 функций, таких как поиск дублей, ошибок, неработающих ссылок и анализ ключевых слов.

Стоимость платного тарифа начинается от 259 долларов в год. Он предоставляет доступ ко всем 29 функциям программы, включая интеграцию с "Google Аналитикой", проверку орфографии и грамматики, безлимитное сканирование и другие возможности.

Оплатить программу картой российского банка невозможно, однако многие пользователи предпочитают использовать бесплатную версию или скачивают полную версию из сторонних источников.

Для использования программы необходимо сначала ее скачать на официальном сайте. Затем нужно провести установку и следовать дальнейшим инструкциям.

После установки и запуска программы необходимо указать адрес сайта в поисковой строке сервиса и нажать кнопку "Start".

После этого сканер соберет информацию о сайте. Дальнейшую информацию о том, где можно просмотреть основные сведения, мы расскажем далее.

Основные настройки сканирования сайта

Для большинства специалистов выполнение всестороннего аудита сайта является непростой задачей. Однако при использовании такого инструмента, как Screaming Frog SEO Spider (СЕО Паук), она может оказаться гораздо более простой для профессионалов и даже для новичков. Удобный интерфейс Screaming Frog позволяет легко и быстро работать: с помощью данного инструмента можно проверить позиции сайта, просканировать все страницы, найти внутренние ссылки и выявить проблемы с контентом. Однако, из-за многообразия вариантов настройки и сложности функциональности, знакомство с программой может оказаться затруднительным.

Данная инструкция предназначена для демонстрации способов использования Screaming Frog как для аудита сайтов, так и для выполнения других задач, необходимых для продвижения сайта.

Важно! Рекомендуется скачивать последнюю версию программы и регулярно обновлять ее. Если у вас установлена старая версия или более новая, чем 16.7, возможно, некоторые описания или интерфейс программы будут немного отличаться.

Настройки парсера Screaming Frog SEO Spider

Memor

Здесь указывается предел оперативной памяти для парсинга. Для корректной работы нужно опираться на параметры своего ПК: учтите, что при запуске краулера этот объем RAM будет полностью зарезервирован и доступен только ему. Слишком маленький объем может привести к зависанию программы при сканировании очень больших сайтов.

Storage

В данном разделе указывается, куда будут сохраняться отчеты о сканировании сайта – в папку «Программы» либо по указанному пути (по умолчанию в /User).

Proxy

Указывается прокси, с помощью которых будет происходить скан сайта (используется, если выбран чекбокс).

Embedded Browser

Если данный чекбокс активен, парсер будет использовать встроенный в программу браузер (на базе Chromium) для сканирования.

Режимы сканирования - Mode

Выбираем режимы сканирования сайта:

• Spider – это классический способ сбора информации с веб-сайта путем просмотра его внутренних ссылок. Для этого необходимо указать доменное имя в адресной строке.
• List – этот метод позволяет собирать информацию только из заранее собранного списка URL-адресов. Как получить этот список можно выбрать разными способами:
• From a File – загрузка URL-адресов из файла.
• Paste – загрузка URL-адресов из буфера обмена.
• Enter Manually – ввод URL-адресов вручную в соответствующее поле.
• Download Sitemap – загрузка URL-адресов из карты сайта.
• SERP Mode – это режим, который не предназначен для сканирования. В нем можно загружать метаданные сайта, редактировать и тестировать их

Скорость парсинга

Скорость парсинга является одной из главных настроек в SEO Frog. При запуске процесса парсинга отображается средняя и текущая скорость внизу. Если сайт не способен выдерживать большую нагрузку, то рекомендуется изменить соответствующие значения в настройках.

Для этого нужно перейти в раздел Configuration, выбрать подраздел Speed и выбрать более оптимальные параметры.

Можно уменьшить количество потоков и ограничить максимальное количество обрабатываемых адресов в секунду:

Устанавливаем параметры скорости анализа

По умолчанию программа Screaming Frog сканирует только поддомен (или основной домен), который вы указываете. Любой дополнительный поддомен, с которым сталкивается программа Spider, рассматривается как внешняя ссылка. Чтобы проанализировать дополнительные поддомены, необходимо внести изменения в меню настроек. После выбора опции 'Crawl All Subdomains', можно быть уверенным, что программа 'паук' будет анализировать все ссылки, которые встречаются на поддоменах вашего сайта.

Переходим в настройки программы Spider:

Переходим к настройкам паука

Выставляем нужные параметры

Для более быстрого сканирования рекомендуется исключить из анализа параметры, связанные с изображениями, CSS, JavaScript, SWF или внешними ссылками:

Как сделать обработку только одной секции

Если вы хотите ограничить сканирование конкретной папкой, уберите в настройках парсинга (Configuration – Spider - Crawl) галочку с Crawl Outside of Start Folder

и затем просто введите URL и нажмите «старт»:

Как запретить скан сайта за пределами указанной папки

Если вы хотите начать сканирование с определенной папки, а затем продолжить анализ остальной части поддомена, прежде чем приступить к работе с нужным URL, сначала перейдите в раздел Spider, затем в подраздел «Configuration», и выберите в нем опцию «Crawl Outside Of Start Folder»:

Как просканировать список поддоменов или каталогов

Для того чтобы включить в работу или исключить определенный список поддоменов или подкаталогов, вы можете использовать регулярные выражения (RegEx), чтобы задать правила включения (Настройки включения - сканировать только указанные папки) или исключения (Настройки исключения - сканировать все, кроме указанных папок) определенных элементов в меню "Конфигурация".

Настройка производится тут:

Сюда вводите список нужных адресов, в зависимости от того, нужно вам сканировать только указанные папки или же нужно сканировать все, кроме указанных папок:

Как добавить лишний раздел в список исключений

Как осуществить сканирование сайта, размещенного на старом сервере?

В некоторых случаях старые серверы не способны обрабатывать заданное количество URL-запросов в секунду. Чтобы изменить скорость сканирования, откройте раздел "Speed" в меню "Configuration"

и выберите максимальное количество потоков, которые должны быть одновременно задействованы.

В этом меню также можно установить максимальное количество URL-адресов, запрашиваемых в секунду.

Если в результате сканирования вы обнаружите большое количество ошибок сервера, перейдите во вкладку "Advanced" в меню конфигурации Паука

и увеличьте значение времени ожидания ответа (Response Timeout) и количество новых попыток запросов (5xx Response Retries).

Настройка авторизации

Паук Screaming Frog заходит на страницу, где требуется идентификация, и затем появляется окно, в котором необходимо ввести логин и пароль.

Переход на страницу авторизации

Для того, чтобы в дальнейшем обходиться без этой процедуры, в меню конфигурации заходим в раздел Configuration - Authentication и снимаем флажок:

Анализ списка URL

Если у вас есть множество URL-адресов и вам необходима дополнительная информация о них, установите режим "Список", а затем загрузите список URL-адресов в формате .txt или .csv. После завершения процесса вы сможете просмотреть статус кода, исходящие ссылки, количество слов и, конечно, метаданные для каждой страницы в вашем списке:

Для экономии времени обработки и памяти, если вы не нуждаетесь в информации о JavaScript, CSS и flash файлах, вы можете отключить эти опции в меню настроек.

После завершения сканирования, вы можете использовать функцию Bulk Export и соответствующие пункты меню 'Links' для экспорта в формате CSV. Это позволит вам получить информацию о расположении всех ссылок вместе с соответствующими текстами якорей, директивами и т.д.:

При экспорте с большого сайта все ссылки могут быть представлены в виде обширного отчета. Не забывайте об этом. Экспорт с больших сайтов может занять некоторое время.

Использование SEO Spider для внутренней перелинковки

Внутренняя перелинковка может приносить хороший ROI (окупаемость), особенно когда у вас есть стратегия распределения PageRank, ранжирование по ключевым словам и анкорным текстам, содержащим ключевые слова.

Какая перелинковка считается корректной?

Перелинковка считается корректной, если:

• страницы, необходимые для продвижения, максимально близки к главной странице;
• такие страницы содержат наибольшее количество входящих ссылок и наименьшее количество исходящих, чтобы обеспечить высокий вес внутренних ссылок на странице.

Чтобы поверить и скорректировать текущие веса страниц сайта (это полезно для СЕО продвижения), в разделах "Внешние" и "Внутренние" нужно найти входящие и исходящие ссылки, а затем отсортировать их по значению. Желательно найти все важные и продвигаемые разделы в списке, для этого можно воспользоваться функцией поиска. Объемы входящих и исходящих ссылок будут различаться у каждого сайта. Поэтому необходимо учитывать размер сайта, общее количество страниц и среднюю массу ссылок на каждую страницу:

Для удобства просмотра и дальнейшей корректировки Вы можете выгрузить адреса с вкладки «Internal» или «» и оставить только два столбца в экселе, выделенные на скриншоте, отсортировать вес страниц по убыванию и просмотреть, какие страницы имеют больший вес, а какие - меньший и исходя из того, по каким страницам нужно повышать вес, составить техническое задание на доработку сайта специалисту.

Как найти битые ссылки на сайте?

При использовании программы Screaming Frog Seo Spider есть возможность выполнить поиск битых ссылок на сайте. После завершения проверки, необходимо отфильтровать результаты на вкладке «Внутренние ссылки» по "Коду статуса". Все ссылки с кодом 404, 301 и другими статусами будут отображены в программе:

После клика по адресу URL в результате проверки вы увидите изменение информации внизу окна программы. Если перейти на вкладку 'In Links' внизу окна, то будет отображен список страниц, которые имеют ссылку на выбранный URL, вместе с анкорным текстом и директивами, использованными для этих ссылок. Это может быть полезно для отслеживания страниц, на которых необходимо обновить внутренние ссылки.

Если страница возвращает код ответа 404, то можно выяснить, какие другие страницы ссылается на нее, чтобы заменить или удалить неработающую ссылку.

Чтобы экспортировать полный список страниц с неработающими или перенаправляющимися ссылками, перейдите в раздел «Bulk Export» - «Response Codes» (коды ответов) и выберите опцию «Redirection (3xx) In Links», «Client Error (4xx) In Links» или «Server Error (5xx) In Links». В результате данные будут сохранены в формате CSV.

Далее прокрутите страницу до раздела с кодами ответов и ознакомьтесь с отчетами:

- Ссылки без ответа (no response inlinks);

- Перенаправления (3xx) в ссылках (redirection (3xx) inlinks);

- Перенаправления JavaScript в ссылках (Redirection (JavaScript) inlinks);

- Перенаправления через meta refresh в ссылках (redirection (meta refresh) inlinks);

- Ошибки (4xx) в ссылках (client error (4xx) inlinks);

- Ошибки сервера (5xx) в ссылках (server error (5xx) inlinks).

Как найти редиректы на сайте с помощью Скриминг Фрог?

Для получения полного списка ссылок с редиректами, перейдите в раздел Bulk Export - Response Codes - Redirection (3xx) In Links.

Как найти проблемы в метаданных?

Для поиска страниц с очень длинными заголовками страниц, СЕО-тегами или URL-адресами выполните следующие действия:

1. По завершении сканирования перейдите на вкладку Page Titles.
2. Примените фильтр, чтобы увидеть слишком длинные или короткие, а также задублированные заголовки страниц:


3. Вы также можете выполнить аналогичные действия на вкладках Meta Description или URI, H1,H2.

Как найти страницы с указанными директивами - nofollow, noindex, canonical и другими

Когда SEO Spider закончит проверку, перейдите на вкладку Directives. Чтобы увидеть тип директивы, просто прокрутите вправо или измените размер окна программы, чтобы увидеть заполненные столбцы, или используйте фильтр для поиска любого из следующих тегов:

Работа с robots.txt в Screaming Frog

По умолчанию Screaming Frog будет учитывать требования robots.txt. При этом, в первую очередь будет следовать директивам, специально заданным для пользовательского агента (user agent) Screaming Frog. В случае отсутствия таких директив для пользовательского агента Screaming Frog, SEO Spider будет руководствоваться любыми директивами для поискового робота Googlebot. Если же для робота Googlebot нет особых директив, он будет придерживаться глобальных директив для всех пользовательских агентов.

Если вы желаете запретить доступ к определенным частям вашего сайта для SEO Spider, используйте общепринятый синтаксис файлов robots.txt с пользовательским агентом Screaming Frog SEO Spider. Если вы хотите проигнорировать файл robots.txt, просто выберите соответствующую опцию в настройках Configuration – robots.txt - Settings:

И сделайте выбор, что учитывать в роботсе, а что – нет

Проверка микроразметки Schema.org в Screaming Frog

Начиная с версии Screaming Frog 11.0, Spider SEO предоставляет возможность проверки, извлечения и анализа структурированных данных прямо во время сканирования. Теперь вы можете проверять любые форматы структурированных данных - JSON-LD, Microdata или RDFa - в соответствии с рекомендациями Schema.org и спецификациями Google в режиме реального времени. Для использования инструментов проверки структурированных данных, пройдите в Config - Spider – Extraction:

И дальше можете запускать скан сайта. После завершения сканирования можете смотреть вкладку Structured Data. Она позволяет легко переключаться между страницами, содержащими структурированные данные. Более того, эти данные могут быть подвержены ошибкам или предупреждениям проверки.

Как найти страницы с не информативным контентом

Screaming Frog позволяет посмотреть несодержательные страницы, то есть с минимальным содержанием контента (или без него). Приводим инструкцию, как это сделать.

После того, как сервис закончит проверку, Вы можете сразу скачать файл (нажмите «Export» во вкладке «Internal», если вам удобнее работать с данными в формате CSV),

открыть колонку «Word Count», отсортировать от наименьшего до наибольшего, чтобы найти страницы с маленьким количеством контента.

Также после того, как SEO Spider завершил сканирование, Вы можете перейти на вкладку URI, сделать фильтрацию по Underscores, Uppercase или Non ASCII Characters (список URI, который содержит символы, не включенные в схему кодирования ASCII символов), чтобы просмотреть URL, которые потенциально могут быть переписаны в более стандартную структуру.

Как найти изображения без атрибутов alt?

Вы можете воспользоваться функцией Bulk Export в меню, чтобы экспортировать все изображения или только те, у которых отсутствует текст для атрибута alt. Это позволит вам получить полный список изображений со сведениями о их местоположении и связанный с ними текст alt, а также выявить проблемы, связанные с атрибутом alt.

Как найти страницы с грамматическими ошибками в текстах?

Чтобы найти грамматические ошибки на сайте, Вы можете включить проверку орфографии и грамматики в настройках программы через Configuration - Content - Spelling & Grammar:

И задать нужный язык проверки в настройках:

После этого можете запускать скан сайта.

Как создать XML Sitemap через Скриминг Фрог?

После того, как программа закончила сканировать ваш сайт, нажмите на «Sitemap» и выберите «XML Sitemap»:

В появившемся окне Вы можете выбрать необходимые окошки и далее экспортировать файл, который Вы можете загружать в корневую директорию сайта. Этот вариант отлично подходит для сайтов, на которых не предусмотрена автоматическая генерация карты сайта:

Также Вы можете сохранить вашу карту сайта в XML формате, а после открыть ее в привычном редакторе и скорректировать необходимые строки.

После внесения изменений не забудьте пересохранить файл в формате XML перед размещением на сайте.

Как найти страницы, которых нет в Sitemap.xml?

Вы можете настроить параметры сканирования, чтобы автоматически обнаруживать и сопоставлять URL-адреса ваших XML-файлов сайта с URL-адресами в рамках вашего сайта.

Для этого перейдите в раздел Configuration - Spider в главном меню, где вы найдете несколько опций для работы с XML-картами сайтов в первом разделе Crawl. Вы можете автоматически находить XML-карты сайтов, используя файл robots.txt, либо вручную указать ссылку на XML-карту сайта в соответствующем поле.

Важно отметить, что если ваш файл robots.txt не содержит ссылок на все XML-карты сайта, которые вы хотите просканировать, вам необходимо ввести их адреса вручную в окошко, которое станет активным после нажатия галочки на Crawl These Sitemaps:

После обновления настроек сканирования перейдите к пункту Crawl Analysis, затем нажмите Configure и убедитесь, что кнопка Sitemaps отмечена:

• Сначала запустите полное сканирование сайта
• Вернитесь к Crawl Analysis и нажмите Start:

Как найти проблемы с индексацией и ранжированием

Хотите узнать причины закрытия некоторых страниц от индексации? Прежде всего, необходимо убедиться, что они не были случайно добавлены в файл robots.txt или помечены как noindex. Затем нужно проверить доступность этих страниц для SEO-паука, проведя проверку внутренних ссылок на вашем сайте. Страница, не имеющая внутренних ссылок на вашем сайте, часто называется "сиротой" (Orphaned Page).

Для выявления потерянных страниц выполните следующие действия:

• Перейдите в раздел Configuration - Spider в главной навигации, внизу страницы вы найдете несколько опций для работы с XML-картами сайта - Auto discover XML sitemaps через ваш файл robots.txt или введите ссылку XML-карты сайта вручную.
• Перейдите в раздел Configuration - API Access - Google Analytics.


• С помощью API вы сможете получить аналитические данные для конкретной учетной записи и просмотра. Чтобы найти "сироты" среди страниц, полученных из органического поиска, убедитесь, что они отфильтрованы как органический трафик

Если вы хотите, чтобы URL-адреса, обнаруженные в Google Analytics (GA), были включены в общий обход вашего сайта, вы можете перейти к разделу Configuration - API Access - Google Analytics - General - Crawl New URLs Discovered In Google Analytics:

Если эта опция не включена, вы сможете просматривать только новые URL-адреса, извлеченные из GA, в отчете Orphaned Pages.

Как включить обход новых URL, обнаруженных в GA?

Перейдите в настройки Configuration - API Access - Google Search Console – с помощью API вы сможете получить данные GSC для определенного аккаунта и представления.

Для обнаружения бесхозных страниц вы можете искать URL-адреса, на которых происходили клики и показы, которые не включены в ваше представление. Также можно перейти в раздел General - Crawl New URLs Discovered In Google Search Console, если вы хотите, чтобы URL-адреса, найденные в GSC, были включены в полное сканирование вашего сайта. Если этот параметр не включен, в отчете о бесхозных страницах вы сможете просматривать только новые URL-адреса, полученные из GSC.

Сканируйте все страницы сайта. По завершению сканирования перейдите в раздел Crawl Analysis - Start и дождитесь его завершения.

Просмотрите потерянные URL-адреса на каждой вкладке или выполните массовый экспорт всех потерянных URL-адресов, перейдя в раздел Reports - Orphan Pages:

Как найти страницы с низкой скоростью загрузки?

После того, как SEO Spider завершил сканирование, перейдите на вкладку Response Codes и отсортируйте по столбцу Response Time по возрастанию, чтобы найти страницы, которые могут страдать от низкой скорости загрузки:

Для удобства Вы можете отсортировать колонку по возрастанию показателей.

Как найти вредоносное ПО и спам через Скриминг Фрог?

Если Вам необходимо найти след вредоносного ПО или спама, в меню Configuration нажмите Custom - Search и введите искомый элемент, который вы ищете:

Шаг 1

Шаг 2

Шаг 3 - вводим сам элемент и начинаем поиск

Как узнать наиболее значимые страницы на сайте?

Обычно владельцы сайтов продвигают свои ресурсы с помощью ссылок и привлекают таким образом посетителей на самые важные страницы. Наша задача заключается в том, чтобы найти такие страницы на своем сайте или у конкурентов, а затем отсортировать их на вкладке 'Внутренняя' по значению 'Количество ссылок' от самого большого до самого маленького. Таким образом, мы увидим, на какие страницы сайта ссылаются большинство внутренних ссылок.

Часто, анализируя сайты компаний, у которых есть блог, можно обнаружить, что они ссылается со своих блогов на самые важные страницы своего сайта. Блог, как правило, находится в отдельной директории. Чтобы найти эти ссылки из блога, нужно снять отметку с опции 'Проверка ссылок вне начальной папки' в меню 'Настройки - Паук' и выполнить повторное сканирование сайта.

После этого переходим на вкладку 'Внешние ссылки' и фильтруем результаты, вводя главный домен в поисковую форму.

Как узнать тексты якорей, используемых при внутренней перелинковке?

Сначала запускаем анализ сайта в программе Screaming Frog и ждем его завершения. Затем переходим в меню 'Массовый экспорт' и выбираем опцию 'Все тексты якорей', чтобы экспортировать CSV или Excel файл, содержащий все тексты якорей, использованные на сайте. Там же можно увидеть, на каких страницах упоминаются эти якори и куда они ведут.

Как узнать, какие мета-ключевые слова используются для каждой страницы на сайте?

Запускаем анализ сайта-конкурента в программе Screaming Frog и ждем его завершения. После завершения анализа переходим на вкладку 'Мета-ключевые слова' и просматриваем список ключевых слов, указанных в мета-теге 'keywords' для каждой страницы сайта.

Затем сортируем столбец 'Мета-ключевое слово 1' в алфавитном порядке и удаляем пустые ячейки или экспортируем полученный список в CSV или Excel.

Заключение

Если у вас нет опыта в SEO, то провести самостоятельный технический аудит сайта с помощью Лягушки будет проосто. Программа Screaming Frog Spider SEO может очень помочь вам в этом, но для достижения полной оптимизации вашего сайта этого не достаточно. Существует множество сервисов, которые помогают проанализировать проблемы, но Screaming Frog Spider SEO имеет самый широкий набор функций. Не забывайте главное правило: лучше делать качественно, хоть и долго, чем быстро и почти без толку.