Создаем Robots.txt Для Блога WordPress
Файл robots.txt используется для указания роботам поисковой системы о том, что страницы вашего блога должны быть просканированны и следовательно, индексируются.
Большинство блогов (да и сайтов в целом), имеет файлы и папки, которые не релевантны для поисковых систем (такие как изображений или админ файлы) поэтому создание файла robots.txt, реально улучшит индексацию вашего блога.
Создаем Robots.txt
Robots.txt — простой текстовый файл, который можно создать с помощью блокнота.
- Открываем блокнот
- Вносим в него эти строки:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */commentsSitemap: http://www.andreystepanov.com/sitemap.xml
User-agent: Yandex
Host: andreystepanov.com
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
- Сохраняем файл
- Даем ему имя “robots.txt”
- Закачиваете его в корень блога
“User-agent: *” означает, что все поисковые боты (Google, Yahoo, MSN и т.д.), должны использовать эти инструкции, чтобы просканировать ваш сайт.
“User-agent: Yandex” означает, ниже перечисленные значения, применимы только для поискового робота Yandex.
“Disaloww:” это запрет на индексацию, все что идет после этого, поисковый робот будет игнорировать (Админ файлы, трэкбэки, комментарии и т.д.), во избежание недоразумений с поисковиками.
“Host” этот параметр используется только Яндексом (замените адрес на свой)
“Sitemap:” тут необходимо указать путь к вашей XML Карте Сайта. Если вы не создали ее, читайте здесь.
Вот вам еще несколько полезных ссылок, для подробного ознакомления:
Что такое robots.txt (Wikipedia)
Гугл рекомендует указывать карту сайта в robots.txt
5 основных причин, обязывающих использовать файл robots.txt
Ну вот и все, Robots.txt для вашего WordPress блога создан. Если же вдруг, у вас возникнут какие-то сложности и вопросы, смело задавайте их в комментариях.
