Кричащая лягушка SEO Spider SEO анализ и глубокие журналы!

1. Что вы можете сделать с Screaming Frog SEO Spider?
2. Основные характеристики Screaming Frog SEO Spider:
3. Кричащие лягушки SEO Spider Ответные коды
4. Эти общие коды ответов HTTP:
5. Анализ логов с помощью Screaming Frog SEO Spider
6. выводы
7. Другие инструменты, рекомендованные Webempresa:

В последнее время появилось много компаний-разработчиков, которые начали выпускать инструменты, большинство из которых являются коммерческими, для серьезного и профессионального анализа веб-сайтов, позволяя проводить их аудит, анализировать SEO и другие факторы, которые влияют на позиционирование и производительность сайта.

Screaming Frog SEO Spider - один из тех «настольных» инструментов, предназначенных для SEO-анализа, который изображает из себя паука (сканера) Google, сканирует веб-сайт, собирая полезную информацию, такую ​​как метатеги изображений, заголовки и метаописания страниц, ссылок. канонические коды, коды ответов, проблемы и другие ошибки.

На основе информации, полученной с помощью Screaming Frog SEO Spider, можно реализовать стратегии, направленные на улучшение SEO / SEO оптимизации веб-сайтов, будь то WordPress, Joomla, PrestaShop или другая CMS.

Это мощный инструмент, разработанный Дэном Шарпом, основателем и директором Screaming Frog Ltd , разработанный и ориентированный на анализ и аудит сайтов с точки зрения SEO, разработанный для небольших сайтов и в основном ориентированный на большие сайты, где каждый из них проверяется вручную. Страница станет тяжелой задачей и потребует много человеческих ресурсов.

Что вы можете сделать с Screaming Frog SEO Spider?

• Найти неработающие ссылки и ошибки.
• Обзор роботов и директив.
• Анализировать заголовки страниц и метаданных.
• Откройте для себя дублированный контент.
• Создание XML-файлов Sitemap.
• Анализ журнала.
• Отслеживание ботов, лимитов и конфигураций.
• Извлечение данных с XPath.
• Анализируйте изображения, CSS, JavaScript, SWF-файлы.
• Аудит перенаправления.

«Бесплатная» версия Screaming Frog SEO Spider позволяет анализировать или отслеживать 500 URI ; для очень больших сайтов вам придется рассмотреть коммерческую лицензию инструмента.

Основные характеристики Screaming Frog SEO Spider:

• Ошибки: ошибки клиента, такие как неработающие ссылки, ошибки сервера (Нет ответа, 4XX, 5XX).
• Перенаправления: постоянные или временные перенаправления (ответы 3XX).
• Заблокированные URL-адреса. Просмотр и аудит URL-адресов, запрещенных протоколом robots.txt.
• Внешние ссылки: все внешние ссылки и их коды состояния.
• Протокол: если URL-адреса безопасны (HTTPS) или небезопасны (HTTP).
• Проблемы с URI: не-ASCII-символы, дефисы, символы в верхнем регистре, параметры или длинные URL-адреса.
• Дублирующиеся страницы: проверка хеш-значения / суммы MD5 для страниц с дублированным содержимым.
• Заголовки страниц: заголовки, которые отсутствуют, дублируются, имеют более 65 символов, являются короткими, с усеченной шириной в пикселях, такими же, как H1, или кратными.
• Мета-описание: не существует, дубликат, более 156 символов, короткий, усеченный или шириной в несколько пикселей.
• Ключевые слова: в основном для ссылок, так как они не используются Google, Bing или Yahoo.
• Размер файла: размер URL-адресов и изображений.
• Время отклика
• Последняя модификация шапки.
• Уровень глубины страниц.
• Количество слов
• H1: не существует, дубликат, более 70 символов, кратно.
• H2: не существует, дубликат, более 70 символов, несколько.
• Мета-роботы: индекс, noindex, follow, nofollow, noarchive, без фрагмента кода, NOODP, NOYDIR и т. Д.
• Обновить цель: включая целевую страницу и время задержки.
• Элемент с канонической ссылкой и каноническими заголовками HTTP.
• X-Robots-Tag.
• rel = "next" и rel = "prev".
• AJAX - SEO-паук подчиняется схеме отслеживания AJAX от Google.
• Inlinks: все страницы со ссылками на определенный URL.
• Исходящие ссылки: все исходящие ссылки на определенный URL.
• Якорный текст: весь текст ссылки. Альтернативный текст (alt) изображений со ссылками.
• Follow и Nofollow: на странице и на уровне ссылок (true / false).
• Изображения: все URL-адреса со ссылкой на изображение и все изображения определенной страницы. Изображения размером более 100 КБ, без альтернативного текста (alt) или с текстом длиной более 100 символов.
• Переключатель User-Agent: отслеживайте, как будто это Google Bot, Bing Bot, Yahoo! Slurp, мобильные пользовательские агенты или с вашим пользовательским кодом UA.
• Настраиваемый заголовок Accept-Language: предоставляет HTTP-заголовок Accept-Language для отслеживания содержимого регионально адаптированной конфигурации.
• Цепочки перенаправления: откройте перенаправленные петли и цепочки.
• Поиск персонализированного исходного кода: SEO-паук позволяет вам найти все, что вы хотите в исходном коде веб-страницы. Будь то код Google Analytics, конкретный текст или код и т. Д.
• Пользовательское извлечение: вы можете собирать любые данные из HTML-кода URL, используя XPath, селекторы CSS Path или регулярные выражения.
• Интеграция с Google Analytics: вы можете подключиться к Google Analytics API и получать пользовательские данные и прямое преобразование во время сканирования.
• Интеграция с консолью поиска Google: вы можете подключиться к API Google Search Analytics и собирать показы, клики и данные о средней позиции с URL-адресов.
• Генератор XML Sitemap: вы можете создать карту сайта XML и карту изображений с помощью SEO Spider.

Скачать Screaming Frog SEO Spider

Кричащая лягушка SEO Spider Он написан для использования в разных операционных системах, Linux, Windows и OSX. Вы можете скачать его с официального сайта проекта.

Скачать SEO Spider Tool

Кричащие лягушки SEO Spider Ответные коды

Когда вы используете инструмент, результаты могут возвращать серию кодов ответов. Знание и понимание этих кодов поможет вам более эффективно их использовать.

На вкладке «Коды ответов» инструмента содержится информация о внутренних и внешних ответах URI.

Эти общие коды ответов HTTP:

• Нет ответа : когда мы не получаем ответ на наш запрос. Как правило, URI с неправильным форматом или время ожидания соединения.
• Правильно (2XX) : запрошенный URI был получен, понят, принят и успешно обработан.
• Redirect (3XX) : обнаружено изменение адреса.
• Ошибка клиента (4xx) : указывает, что возникла проблема с запросом.
• Ошибка сервера (5XX) : серверу не удалось выполнить явно допустимый запрос (блокировки и т. Д.).

Некоторые примеры:

• 200 : ОК.
• 301 : постоянное перенаправление.
• 302 : временное перенаправление.
• 404 : ресурсы не найдены.
• 500 : ошибка сервера
• 503 : ресурс недоступен.

В RFC 2616 / сек10 Вы можете найти полное описание каждого кода ответа (на английском языке).

Если при выполнении запроса в Screaming Frog SEO Spider вы получаете ответы об ошибках 502 Bad Gateway , обратитесь в службу поддержки, поскольку возможно, что брандмауэр блокирует доступ инструмента к вашему веб-сайту.

Анализ логов с помощью Screaming Frog SEO Spider

Недавно команда разработчиков Screaming Frog SEO Spider выпустила Log File Analyzer , отдельный инструмент SEO Spider, предназначенный для анализа файлов журналов (журналов активности) и т. Д. По сути, этот инструмент позволяет вам точно узнать, что испытали поисковые системы при сканировании сайта за определенный период времени.

Анализатор файла журнала - это легкий, но очень мощный инструмент, способный обрабатывать, хранить и анализировать миллионы строк данных о событиях из файла журнала в интеллектуальную базу данных.

В настоящее время Log File Analyzer является коммерческим, но вы можете использовать версию со свободной лицензией для анализа 1 веб-сайта или 1000 строк журналов, что достаточно, чтобы определить, полезен ли этот инструмент для ваших веб-проектов, и посмотреть, сможете ли вы перейти к коммерческой версии.

Этот инструмент собирает ключевые данные из файла журнала, что позволяет принимать обоснованные решения. Некоторые из общего использования включают в себя:

• Определить URL-трекеры
• Найдите неработающие ссылки и ошибки.
• Анализируйте больше и меньше отслеживаемых URL.
• Обнаружение неотслеженных и потерянных страниц.
• Проанализируйте частоту сканирования.
• Аудит перенаправлений.
• Определите большие страницы и проблемы с производительностью.
• Объедините и сравните данные (GA и журналы).

Скачать Log File Analyzer

Благодаря технологии перетаскивания вы можете перетащить один или несколько больших файлов журнала непосредственно в интерфейс Log File Analyzer , и инструмент автоматически определит формат файла журнала и скомпилирует данные. в локальной базе данных, способной хранить миллионы событий регистрации.

Вы можете перетаскивать несколько файлов или папок одновременно, которые можно сжать с помощью gzip и с любого сервера, будь то Apache, Nginx или ISS.

На данный момент сбор данных сосредоточен на роботах Google, Bing Bot, Yandex и Baidu. В более поздних версиях эта функциональность будет настраиваться. Вы можете изменить пользовательский агент, чтобы видеть только определенных роботов, через раскрывающийся список в правом верхнем углу рядом с диапазоном дат.

выводы

Нет никаких сомнений в том, что Screaming Frog SEO Spider и Log File Analyzer являются двумя очень важными инструментами в арсенале тех специалистов, которые сосредоточены на услугах SEO, потому что информация, полученная с помощью этих инструментов, позволяет не только разрабатывать стратегии для улучшения загрузки и оптимизации сайты также предоставляют ценную информацию о поведении отслеживающих ботов обычных поисковых систем.

Screaming Frog SEO Spider - это один из нескольких инструментов для анализа веб-данных, который вы всегда должны иметь под рукой для своих проектов или проектов своих клиентов.

Другие инструменты, рекомендованные Webempresa:

• Vikinguard для анализа магазинов PrestaShop ( смотреть статью ).
• Vikinguard для анализа магазина с WooCommerce в WordPress ( смотреть статью ).
• Metricool для анализа сайтов и социальных сетей ( смотреть статью ).
• wpDoctor для анализа сайтов с помощью WordPress ( смотреть статью ).