ползать

Путь к высокому рейтингу и высокому органическому трафику требует от поисковых систем правильного поиска, понимания и индексации вашего контента. Это называется сканированием на языке SEO.

Причина, по которой поисковые системы могут обслуживать сотни тысяч обращений менее чем за секунду до того, как вы нажмете «поиск», заключается в том, что Google уже перебрал Интернет и проиндексировал все страницы, относящиеся к выбранному вами ключевому слову. Сканирование ваших веб-страниц является необходимым условием для их индексации, в то время как индексация является необходимым условием для ранжирования. Индекс Google сравним с гигантской книгой, содержащей весь открытый контент большого интернета.

sitemap.xml
Первый шаг, который следует предпринять, чтобы избежать осложнений, заключается в добавлении одного sitemap.xml , Карта сайта может рассматриваться как указание поисковым системам, по каким страницам сканировать, как часто они должны сканироваться и какой приоритет нужно предоставить поисковым системам по отношению к другим страницам в том же домене.

Каждому веб-сайту назначается бюджет обхода определенного размера, который определяет, сколько ресурсов (количество страниц и количество времени) Google будет тратить на сканирование страниц сайта в день. Для больших веб-сайтов такие карты сайта являются отличным способом сообщить поисковым системам, каким страницам должен быть присвоен самый высокий приоритет.

robots.txt
Из-за ограниченного бюджета на сканирование нужно, чтобы поисковые системы приоритезировали индексацию этих страниц, что важно для демонстрации в Google. Примеры страниц, которые не важны для показа в Google / my page и / catalogsearch. Robots.txt - это простой способ сообщить Google о том, какие страницы следует исключить, чтобы обеспечить наиболее быструю и актуальную индексацию наиболее важных страниц.

Узнайте больше о robots.txt

Внутренняя навигация и структура страницы
Структура страницы и навигация играют важную роль в оптимизации сканирования. Вы можете прочитать больше об этом в статья о навигации