5 способов сканирования промежуточного сервера до того, как важные изменения сайта начнут действовать (для сохранения SEO)

  1. Как сканировать промежуточный сервер
  2. 1. Базовая аутентификация
  3. 2. VPN-доступ
  4. 3. Белый список IP-адрес
  5. 4. Создайте пользовательский агент пользователя
  6. 5. IRL - Going Old-School
  7. Ключевые вынос и быстрые советы
  8. Резюме: есть больше, чем один способ получить доступ к постановке

Вот ты где. Грядет масштабная модернизация или миграция CMS, и вы готовы начать сканирование нового сайта в тестовой среде. Вы запускаете свой любимый инструмент для сканирования и запускаете сканирование ... и оно длится все три секунды.

Да, есть очевидная проблема. Промежуточный сервер защищен и находится под защитой определенного типа, которая запрещает вам свободно сканировать его. Пот начинает формироваться на вашем лбу, когда вы удивляетесь, как вы закончите сканирование.

На этом этапе вы можете вручную проверить все страницы, но можете оказаться в мягкой комнате, шепчащей что-то о том, что коды ответов заголовков захватили весь мир.

Или вы можете продолжать нажимать «сканировать» и повторно сканировать страницу входа, но это тоже не поможет. ИЛИ вы можете избавиться от него и найти способ сканирования сайта в промежуточном режиме, который позволит вам анализировать данные сканирования и сохранять SEO. Да, это билет.

Кто-то из вас может сказать: «Эй, это легко обойти!» Ну, важно понимать, что иногда это не так просто. По своему опыту я помог многим клиентам, которые использовали промежуточную настройку, к которой было нелегко получить доступ и сканировать. И для таких ситуаций вам может понадобиться использовать альтернативные методы.

Как сканировать промежуточный сервер

Ниже я расскажу о пяти методах обхода промежуточного сервера: от обычной проверки подлинности до доступа VPN и создания пользовательских пользовательских агентов. Я закончу некоторыми ключевыми выносками и советами. Давай начнем!

1. Базовая аутентификация

Если промежуточный сервер использует базовую аутентификацию, вам будет приятно узнать, что лучшие инструменты сканирования поддерживают этот метод при настройке сканирования.

Например, мои любимые инструменты сканирования - DeepCrawl (где я в консультативном совете клиентов) и Screaming Frog. Оба инструмента предоставляют возможность предоставить данные для входа, чтобы вы могли сканировать.

Обработка базовой аутентификации в DeepCrawl:

Выбор настройки «Запрос аутентификации» в Screaming Frog:

2. VPN-доступ

У меня были клиенты, которые держали свои промежуточные серверы за брандмауэром (в сети компании и недоступны публично). В такой ситуации мне иногда давали VPN-доступ, чтобы я мог сканировать сервер. Как только я подключился через VPN, я мог ползти с помощью любого локального инструмента (работающего на моих системах в моем офисе).

Плюс в том, что вы можете сканировать постановку с помощью локальных инструментов. Недостатком является то, что вы, вероятно, не можете использовать сканеры корпоративного уровня, которые не расположены в вашей собственной сети. И это может быть важно, особенно если это крупномасштабный сайт.

Доступ к промежуточному серверу через VPN:

3. Белый список IP-адрес

У меня также были клиенты, которые использовали промежуточную платформу, которая перенаправляла всех пользователей на общий логин, который затем перенаправлял вас обратно на конкретный промежуточный сервер, к которому вы хотели получить доступ. К сожалению, многие из инструментов, которые поддерживают базовую или дайджест-проверку подлинности, не будут работать здесь, так как перенаправление бросает вызов ситуации.

Но вы можете запросить, чтобы платформа внесла в белый список ваш IP-адрес для промежуточного сервера, к которому вы пытаетесь получить доступ. Ваш клиент будет просто предоставлять доступ к вашему конкретному IP-адресу промежуточному серверу в течение короткого периода времени - например, один день или всего несколько дней доступа - при исключении всех других IP-адресов.

4. Создайте пользовательский агент пользователя

Вы слышали о Googlebot и Bingbot, но слышали ли вы о GSQiBot? Это один из пользовательских пользовательских агентов, которые я настроил для сканирования клиента. Используя лучшие инструменты для сканирования, вы можете создать пользовательский агент, который вы сможете передавать своим клиентам.

Затем они могут внести этот белый пользовательский агент в белый список, заблокировав при этом любой другой доступ. Это похоже на метод IP-адреса, но он отображает белый агент пользователя вместо IP-адреса.

Настройка пользовательского пользовательского агента в DeepCrawl:

Настройка пользовательского агента в Screaming Frog:

5. IRL - Going Old-School

Да, Вы прочли это правильно. В определенных ситуациях мне приходилось уходить из старой школы и на самом деле навещать клиентов «в реальной жизни». Ух, ужас!

Если подготовка недоступна извне, и ваш клиент по какой-то причине не открывает доступ, вам, возможно, придется посетить их офис.

Как только вы это сделаете, вы можете выползти из своей сети. Это очевидно имеет некоторые географические ограничения, но я делал это раньше для клиентов, расположенных на северо-востоке. (Я в Принстоне, штат Нью-Джерси.)

Ключевые вынос и быстрые советы

Теперь, когда я рассмотрел пять различных способов обхода промежуточного сервера, я приведу некоторые ключевые выводы и советы, основанные на моем опыте помощи клиентам.

  • Не обходите обход. Это слишком важно, чтобы упускать из виду. Есть много проблем, которые вы можете обнаружить с помощью ползучего инсценировки. А это значит, что вы можете пресечь серьезные проблемы с SEO в зародыше. Подчеркните важность сканирования для вашего клиента, его команды по цифровому маркетингу и команды разработчиков.
  • Будьте гибкими и работайте с командой разработчиков вашего клиента, чтобы получить доступ. Не требуйте определенного метода. Понять их ситуацию и работать для получения доступа. Цель состоит в том, чтобы ползти постановка, чтобы дать зеленый свет. Это не для повышения вашего эго.
  • Когда вы получите доступ, огонь уйти . Выполните как обходы на уровне предприятия, так и хирургические обходы (если это возможно). Будьте готовы с тем, что вам нужно сделать и какие обходы вы хотели бы выполнить. У вас может быть доступ только в течение дня или двух, поэтому используйте его максимально эффективно. Опять же, мне нравится использовать DeepCrawl для корпоративных сканирований и Screaming Frog для хирургических сканирований.
  • Дважды проверьте данные сканирования, прежде чем потерять доступ к организации. Убедитесь, что вы захватили данные, необходимые для завершения анализа. Если по какой-либо причине начальных данных сканирования недостаточно, уточните настройки и повторите сканирование. Например, исключите неважные каталоги, в которых выполняется сканирование, используйте разные начальные URL-адреса, убедитесь, что установлены правильные ограничения сканирования, убедитесь, что выбраны правильные параметры отчета, и так далее.
  • Убедитесь, что ваш клиент понимает, что, вероятно, будут внесены изменения, основанные на анализе стадии сканирования, и что им следует предоставить разработчикам время для внесения этих изменений. Это не тип процесса «сканирование и запуск» (хотя это может произойти в лучшем случае). Это скорее процесс сканирования, поиска проблем, устранения проблем и повторного сканирования. Вы не хотите выдвигать проблемы SEO в производство. Googlebot может быть не так хорош, как GSQibot.

Резюме: есть больше, чем один способ получить доступ к постановке

Как я объяснял ранее, очень важно выполнить предварительную проверку, прежде чем ключевые изменения будут запущены в производство. Вы могли бы очень хорошо обнаружить технические проблемы SEO во время сканирования, которые вызовут серьезные проблемы, если их запустить.

Моя рекомендация - получить доступ к постановке любой ценой. Хорошей новостью является то, что есть несколько методов, которые вы можете выбрать, как я описал выше. Работайте со своим клиентом и его командой разработчиков, чтобы получить доступ. Вот как ты выиграл. Теперь отползти.

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,


Об авторе