Кричащая лягушка SEO Spider SEO анализ и глубокие журналы!

  1. Что вы можете сделать с Screaming Frog SEO Spider?
  2. Основные характеристики Screaming Frog SEO Spider:
  3. Кричащие лягушки SEO Spider Ответные коды
  4. Эти общие коды ответов HTTP:
  5. Анализ логов с помощью Screaming Frog SEO Spider
  6. выводы
  7. Другие инструменты, рекомендованные Webempresa:

В последнее время появилось много компаний-разработчиков, которые начали выпускать инструменты, большинство из которых являются коммерческими, для серьезного и профессионального анализа веб-сайтов, позволяя проводить их аудит,   анализировать SEO   и другие факторы, которые влияют на позиционирование и производительность сайта

В последнее время появилось много компаний-разработчиков, которые начали выпускать инструменты, большинство из которых являются коммерческими, для серьезного и профессионального анализа веб-сайтов, позволяя проводить их аудит, анализировать SEO и другие факторы, которые влияют на позиционирование и производительность сайта.

Screaming Frog SEO Spider - один из тех «настольных» инструментов, предназначенных для SEO-анализа, который изображает из себя паука (сканера) Google, сканирует веб-сайт, собирая полезную информацию, такую ​​как метатеги изображений, заголовки и метаописания страниц, ссылок. канонические коды, коды ответов, проблемы и другие ошибки.

На основе информации, полученной с помощью Screaming Frog SEO Spider, можно реализовать стратегии, направленные на улучшение SEO / SEO оптимизации веб-сайтов, будь то WordPress, Joomla, PrestaShop или другая CMS.

Это мощный инструмент, разработанный Дэном Шарпом, основателем и директором Screaming Frog Ltd , разработанный и ориентированный на анализ и аудит сайтов с точки зрения SEO, разработанный для небольших сайтов и в основном ориентированный на большие сайты, где каждый из них проверяется вручную. Страница станет тяжелой задачей и потребует много человеческих ресурсов.


Что вы можете сделать с Screaming Frog SEO Spider?

  • Найти неработающие ссылки и ошибки.
  • Обзор роботов и директив.
  • Анализировать заголовки страниц и метаданных.
  • Откройте для себя дублированный контент.
  • Создание XML-файлов Sitemap.
  • Анализ журнала.
  • Отслеживание ботов, лимитов и конфигураций.
  • Извлечение данных с XPath.
  • Анализируйте изображения, CSS, JavaScript, SWF-файлы.
  • Аудит перенаправления.

«Бесплатная» версия Screaming Frog SEO Spider позволяет анализировать или отслеживать 500 URI ; для очень больших сайтов вам придется рассмотреть коммерческую лицензию инструмента.



Основные характеристики Screaming Frog SEO Spider:

  • Ошибки: ошибки клиента, такие как неработающие ссылки, ошибки сервера (Нет ответа, 4XX, 5XX).
  • Перенаправления: постоянные или временные перенаправления (ответы 3XX).
  • Заблокированные URL-адреса. Просмотр и аудит URL-адресов, запрещенных протоколом robots.txt.
  • Внешние ссылки: все внешние ссылки и их коды состояния.
  • Протокол: если URL-адреса безопасны (HTTPS) или небезопасны (HTTP).
  • Проблемы с URI: не-ASCII-символы, дефисы, символы в верхнем регистре, параметры или длинные URL-адреса.
  • Дублирующиеся страницы: проверка хеш-значения / суммы MD5 для страниц с дублированным содержимым.
  • Заголовки страниц: заголовки, которые отсутствуют, дублируются, имеют более 65 символов, являются короткими, с усеченной шириной в пикселях, такими же, как H1, или кратными.
  • Мета-описание: не существует, дубликат, более 156 символов, короткий, усеченный или шириной в несколько пикселей.
  • Ключевые слова: в основном для ссылок, так как они не используются Google, Bing или Yahoo.
  • Размер файла: размер URL-адресов и изображений.
  • Время отклика
  • Последняя модификация шапки.
  • Уровень глубины страниц.
  • Количество слов
  • H1: не существует, дубликат, более 70 символов, кратно.
  • H2: не существует, дубликат, более 70 символов, несколько.
  • Мета-роботы: индекс, noindex, follow, nofollow, noarchive, без фрагмента кода, NOODP, NOYDIR и т. Д.
  • Обновить цель: включая целевую страницу и время задержки.
  • Элемент с канонической ссылкой и каноническими заголовками HTTP.
  • X-Robots-Tag.
  • rel = "next" и rel = "prev".
  • AJAX - SEO-паук подчиняется схеме отслеживания AJAX от Google.
  • Inlinks: все страницы со ссылками на определенный URL.
  • Исходящие ссылки: все исходящие ссылки на определенный URL.
  • Якорный текст: весь текст ссылки. Альтернативный текст (alt) изображений со ссылками.
  • Follow и Nofollow: на странице и на уровне ссылок (true / false).
  • Изображения: все URL-адреса со ссылкой на изображение и все изображения определенной страницы. Изображения размером более 100 КБ, без альтернативного текста (alt) или с текстом длиной более 100 символов.
  • Переключатель User-Agent: отслеживайте, как будто это Google Bot, Bing Bot, Yahoo! Slurp, мобильные пользовательские агенты или с вашим пользовательским кодом UA.
  • Настраиваемый заголовок Accept-Language: предоставляет HTTP-заголовок Accept-Language для отслеживания содержимого регионально адаптированной конфигурации.
  • Цепочки перенаправления: откройте перенаправленные петли и цепочки.
  • Поиск персонализированного исходного кода: SEO-паук позволяет вам найти все, что вы хотите в исходном коде веб-страницы. Будь то код Google Analytics, конкретный текст или код и т. Д.
  • Пользовательское извлечение: вы можете собирать любые данные из HTML-кода URL, используя XPath, селекторы CSS Path или регулярные выражения.
  • Интеграция с Google Analytics: вы можете подключиться к Google Analytics API и получать пользовательские данные и прямое преобразование во время сканирования.
  • Интеграция с консолью поиска Google: вы можете подключиться к API Google Search Analytics и собирать показы, клики и данные о средней позиции с URL-адресов.
  • Генератор XML Sitemap: вы можете создать карту сайта XML и карту изображений с помощью SEO Spider.

Скачать Screaming Frog SEO Spider

Кричащая лягушка SEO Spider Он написан для использования в разных операционных системах, Linux, Windows и OSX. Вы можете скачать его с официального сайта проекта.

Скачать SEO Spider Tool


Кричащие лягушки SEO Spider Ответные коды

Когда вы используете инструмент, результаты могут возвращать серию кодов ответов. Знание и понимание этих кодов поможет вам более эффективно их использовать.

На вкладке «Коды ответов» инструмента содержится информация о внутренних и внешних ответах URI.

Эти общие коды ответов HTTP:

  • Нет ответа : когда мы не получаем ответ на наш запрос. Как правило, URI с неправильным форматом или время ожидания соединения.
  • Правильно (2XX) : запрошенный URI был получен, понят, принят и успешно обработан.
  • Redirect (3XX) : обнаружено изменение адреса.
  • Ошибка клиента (4xx) : указывает, что возникла проблема с запросом.
  • Ошибка сервера (5XX) : серверу не удалось выполнить явно допустимый запрос (блокировки и т. Д.).

Некоторые примеры:

  • 200 : ОК.
  • 301 : постоянное перенаправление.
  • 302 : временное перенаправление.
  • 404 : ресурсы не найдены.
  • 500 : ошибка сервера
  • 503 : ресурс недоступен.

В RFC 2616 / сек10 Вы можете найти полное описание каждого кода ответа (на английском языке).

Если при выполнении запроса в Screaming Frog SEO Spider вы получаете ответы об ошибках 502 Bad Gateway , обратитесь в службу поддержки, поскольку возможно, что брандмауэр блокирует доступ инструмента к вашему веб-сайту.



Анализ логов с помощью Screaming Frog SEO Spider

Недавно команда разработчиков Screaming Frog SEO Spider выпустила Log File Analyzer , отдельный инструмент SEO Spider, предназначенный для анализа файлов журналов (журналов активности) и т. Д. По сути, этот инструмент позволяет вам точно узнать, что испытали поисковые системы при сканировании сайта за определенный период времени.



Анализатор файла журнала - это легкий, но очень мощный инструмент, способный обрабатывать, хранить и анализировать миллионы строк данных о событиях из файла журнала в интеллектуальную базу данных.

В настоящее время Log File Analyzer является коммерческим, но вы можете использовать версию со свободной лицензией для анализа 1 веб-сайта или 1000 строк журналов, что достаточно, чтобы определить, полезен ли этот инструмент для ваших веб-проектов, и посмотреть, сможете ли вы перейти к коммерческой версии.

Этот инструмент собирает ключевые данные из файла журнала, что позволяет принимать обоснованные решения. Некоторые из общего использования включают в себя:

  • Определить URL-трекеры
  • Найдите неработающие ссылки и ошибки.
  • Анализируйте больше и меньше отслеживаемых URL.
  • Обнаружение неотслеженных и потерянных страниц.
  • Проанализируйте частоту сканирования.
  • Аудит перенаправлений.
  • Определите большие страницы и проблемы с производительностью.
  • Объедините и сравните данные (GA и журналы).

Скачать Log File Analyzer

Благодаря технологии перетаскивания вы можете перетащить один или несколько больших файлов журнала непосредственно в интерфейс Log File Analyzer , и инструмент автоматически определит формат файла журнала и скомпилирует данные. в локальной базе данных, способной хранить миллионы событий регистрации.

Вы можете перетаскивать несколько файлов или папок одновременно, которые можно сжать с помощью gzip и с любого сервера, будь то Apache, Nginx или ISS.

На данный момент сбор данных сосредоточен на роботах Google, Bing Bot, Yandex и Baidu. В более поздних версиях эта функциональность будет настраиваться. Вы можете изменить пользовательский агент, чтобы видеть только определенных роботов, через раскрывающийся список в правом верхнем углу рядом с диапазоном дат.


выводы

Нет никаких сомнений в том, что Screaming Frog SEO Spider и Log File Analyzer являются двумя очень важными инструментами в арсенале тех специалистов, которые сосредоточены на услугах SEO, потому что информация, полученная с помощью этих инструментов, позволяет не только разрабатывать стратегии для улучшения загрузки и оптимизации сайты также предоставляют ценную информацию о поведении отслеживающих ботов обычных поисковых систем.

Screaming Frog SEO Spider - это один из нескольких инструментов для анализа веб-данных, который вы всегда должны иметь под рукой для своих проектов или проектов своих клиентов.


Другие инструменты, рекомендованные Webempresa:

  • Vikinguard для анализа магазинов PrestaShop ( смотреть статью ).
  • Vikinguard для анализа магазина с WooCommerce в WordPress ( смотреть статью ).
  • Metricool для анализа сайтов и социальных сетей ( смотреть статью ).
  • wpDoctor для анализа сайтов с помощью WordPress ( смотреть статью ).