Robots Tag и XML Sitemap: показать сканеру, где он находится

1. robots.txt
2. Мне нужно бросить?
3. sitemap.xml
4. Когда мне нужен XML Sitemap?
5. Как мне создать карту сайта?
6. Динамические файлы Sitemap для блогов и магазинов
7. Файлы Sitemap для видео и изображения Sitemap
8. Пусть Google и Bing знают
9. Самое главное в итоге: Мета День Роботов
10. вывод

Blmpht! Почему мы не написали об этом раньше? Если вы допустите здесь серьезные ошибки, поисковые системы не увидят ничего прекрасного на странице оптимизации! Сегодня речь идет о двух важных файлах и теге, который помыл себя. Итак: прекрати работать! Рауф на FTP-сервер и вперед!

robots.txt

Этот файл является общедоступным, сканеры поисковых систем должны иметь возможность читать его в любое время. Вы можете легко проверить, есть ли такой файл на вашей домашней странице, введя следующее:

http://www.meinedomain.de/robots.txt

Вы должны, конечно www.meinedomain.de заменить на адрес вашей домашней страницы. Если у вас нет домашней страницы и вы просто хотите посмотреть, как это выглядит, перейдите по ссылке: http://de.wordpress.com/robots.txt Этот файл роботов является короткой копией. Загляните на свои любимые сайты и посмотрите, как выглядит файл robots.txt! Вы обнаружите, что они часто очень длинные.

Мне нужно бросить?

Да и нет. Если у вас нет robots.txt в главном каталоге вашего сайта, это означает, что для поисковых систем в случае сомнений: продолжайте, посмотрите на все! Сомневаюсь, что так лучше, чем неправильный robots.txt. Но: Вы не всегда хотите, чтобы все страницы появлялись в Google или были проиндексированы. Поэтому создайте новый файл (например, Windows - щелкните правой кнопкой мыши на рабочем столе, новый текстовый документ) и переименуйте его в «robots.txt» (обязательно пишите по буквам!). Затем откройте его и введите:

Пользователь-агент: * Disallow:

Первая строка определяет, к какому сканеру относится вторая строка. Смешение? Итак: звездочка означает, что все поисковые роботы имеют свободный доступ. Это проясняет вторую строку: Ничто за «Disallow:» означает для сканера, что ничто не запрещено (запрещено).

Пользователь-агент: Googlebot Пользователь-агент: WebSpider Disallow: /

Строки означают, что сканеры Google и Webspider не могут сканировать что-либо на вашем сайте. Косая черта после «Disallow:» означает просто: все каталоги. Ваш robots.txt может состоять из множества таких «текстовых пакетов», в которых вы можете запретить определенные страницы вашей домашней страницы определенным сканерам. Есть длинный Список 302 сканеров (или боты), так какой из них запрещает доступ? Наше работоспособное решение выглядит так:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes /

Мы считаем, что имеет смысл указать для всех сканеров одновременно, какие страницы им не разрешено просматривать. В нашем примере это подкаталоги установки WordPress, то есть страницы, которые служат для администрирования WordPress и не являются сканером. Помимо того, что вы не хотите, чтобы эти страницы находились в открытом доступе в Google, существует еще один аспект файла robots.txt и его запретов: возможно, некоторые страницы просто не имеют отношения к Google и вводят в заблуждение, например, страницы без содержимого или устаревшего содержимого. Это, конечно, может ухудшить рейтинг ваших любимых ключевых слов. Наконец, мы добавим еще одну важную строку:

Пользовательский агент: * Disallow: / wp-admin / Disallow: / wp-includes / Карта сайта: http://www.mydomain.com/sitemap.xml

Последняя строка показывает сканер, где находится карта сайта XML. Не жизненно важный, но небольшой намек на очень важный файл, который будет обсуждаться в следующем разделе. Когда вы закончите со своими записями, проверьте с одним Проверка роботов Посмотрите, имеет ли ваш robots.txt правильную форму.

sitemap.xml

Термин "карта сайта" скажет вам кое-что. Карта сайта на многих веб-сайтах представляет собой обзор подстраниц и общей структуры веб-сайта. В зависимости от размера и глубины вложения вашего сайта, это может быть очень полезно для пользователя. То же самое относится и к XML Sitemap, который в основном ориентирован на поисковую систему. поэтому рекомендует Google Sitemaps !

Когда мне нужен XML Sitemap?

Я уже упомянул две причины: Ваша страница имеет много подстраниц и связана сложным образом. Чтобы Google или другие поисковые системы могли гарантировать просмотр всех страниц, мы даем им своеобразное оглавление нашего сайта. Создание карты сайта может оказать очень положительное влияние, особенно на новые, пока неизвестные сайты, на которые ссылаются несколько ссылок. Конечно, для просмотра всех страниц Google требуется больше времени. На самом деле, карта сайта может только навредить, если только в ней нет страниц, например: дубликаты, дефекты или недоступность.

Как мне создать карту сайта?

Конечно, кропотливо, строка за строкой. Ерунда! Гораздо проще и надежнее онлайн-инструменты, которые не только создают готовую для загрузки карту сайта, но и сортируют недоступные страницы. По праву популярным инструментом является Sitemap Generator который обеспечивает хорошие результаты с настройками по умолчанию. Просто введите «Начальный URL» адрес своей домашней страницы (если у вас есть несколько доменов, обязательно возьмите тот, на который перешли все ваши домены) и нажмите «Старт». Это займет некоторое время, в зависимости от размера вашего сайта. Затем вы можете скачать «sitemap.xml» и сохранить его в главном каталоге вашего веб-сервера (где также находятся index и robots.txt). После того, как файл был загружен, проверьте доступность вашей карты сайта, набрав:

http://www.meinedomain.de/sitemap.xml

Не забывайте, что карта сайта не пуста, и веб-страницы, содержащие ее, доступны. Поэтому скопируйте URL-адрес из списка, вставьте его в поле адреса вашего браузера и нажмите Enter. Если страница вашего сайта появляется, отлично! Кстати, я также проверяю robots.txt - просто скопируйте адрес карты сайта и вставьте его в поле адреса. Если тогда появится правильная карта сайта, отлично! Проверьте это, потому что: неправильная карта сайта приносит больше вреда, чем ничего!

Динамические файлы Sitemap для блогов и магазинов

Страницы, содержимое которых часто изменяется (например, блоги) или которые имеют много подстраниц (например, магазины со страницами статей), должны иметь динамическую карту сайта. То есть карта сайта, которая корректируется автоматически и при внесении изменений. Большинство систем магазинов имеют такую ​​функцию на борту, вам просто нужно выяснить, где находится карта сайта (если не в главном каталоге). Для систем CMS, например для WordPress, существуют надежные плагины, которые обновляют карту сайта, как только что-то меняется в блоге. У нас есть хороший опыт работы с Плагин XML Sitemaps сделал.

Файлы Sitemap для видео и изображения Sitemap

Для веб-сайтов, которые содержат много изображений или видеороликов, имеет смысл создавать отдельные карты сайта для видео и изображений, потому что Google «слепой» в отношении этого типа контента. Карта сайта может помочь Google показать ваши видео или фотографии. Эта мера только очень прилежных пчел к сердцу - с хорошими именами файлов и старыми тегами вы, по крайней мере, достаточно подготовлены для фотографий. Для видео карта сайта имеет больше смысла, если у вас нет видео со специальной разметкой (например, schema.org). Для этого вам понадобится специальный видео генератор Sitemap. Но вам часто приходится помогать и собирать видео карту сайта, которую вы затем сохраняете под именем файла "video-sitemap.xml", а также вводите его в файл robots.txt. Google помогает вам Создать видео карту сайта ,

Пусть Google и Bing знают

Теперь пришло время добавить турбо: поисковые системы рано или поздно узнают из вашей карты сайта, находится ли она в главном каталоге вашего сайта и файл общедоступен. Этот процесс может занять некоторое время, но давайте посмотрим правде в глаза: так много усилий, а затем ждать и поворачивать пальцы? Неа! Лучше сообщите поисковым системам, что у вас теперь есть карта сайта. Это легко в Google или Bing Webmaster Tools. Войдите в систему и найдите пункт Загрузить файл Sitemap. Проверьте свою карту сайта еще раз, открыв ее в окне браузера. Все в порядке, скопируйте URL и вставьте его в нужное поле - и загрузите!

Самое главное в итоге:
Мета День Роботов

Мы не хотим забывать тег Meta Robots в разделе <head> вашего сайта. Этот тег похож на сурового брата файла robots.txt. Проще говоря: каталоги, которые запрещены в robots.txt, не сканируются. Эти страницы практически невозможно найти через Google, потому что Google не получает никакой информации о содержании страницы. Только почти: если вы вводите URL-адрес непосредственно в Google (или страница очень хорошо связана), Google находит сайт. Кроме того, список запрещенных страниц в файле robots.txt также может содержать подсказки для страниц, которые вы действительно хотели полностью скрыть (для конфиденциальных данных вы все равно должны использовать защиту паролем). Для подстраниц, которые поисковые системы не должны сканировать и индексировать (т. Е. Их нельзя найти в Google), использование метатега роботов неизбежно. Благодаря этому можно затруднить поиск подстраницы - практически, например, для веб-сайтов, над которыми все еще ведется работа, или для областей входа сотрудников. В области заголовка вашей страницы между двумя тегами <head> вы вставляете эту строку:

Веб-страница, на которой расположен этот код, не индексируется, поэтому остается для всех поисковых систем. Даже если ссылки ссылаются на эту страницу или вы вставляете URL-адрес непосредственно в Google - страница не отображается в результатах поиска. Суть: Вы должны вставить код на каждой подстранице один за другим. Плагины для WordPress (например, All in One SEO) могут помочь заблокировать отдельные страницы нажатием кнопки.

вывод

Вам нечего скрывать, но вы просто хотите избавить индекс Google вашего сайта от мусора, воспользуйтесь файлом robots.txt. В другом случае оснастите соответствующую страницу метатегом роботов. Создание карты сайта всегда полезно, особенно для блогов, магазинов и сайтов, которые являются новыми и имеют небольшие обратные ссылки. Поскольку вы абсолютно не уверены, лучше избегайте robots.txt, sitemap.xml и метатега Robots - но тогда: наберитесь терпения и не беспокойтесь о страницах, которые непреднамеренно появляются в индексе Google!

Эй, это может вас заинтересовать