Как использовать robots.txt для wordpress
28 сентября 2008В процессе оптимизации проекта нужно создать текстовый файл под названием robots.txt и положить его в корень сайта.
Нужен он:
1. Для запрета индексации служебных директорий.
2. Для определения главного зеркала сайта (с www или без).
3. Для лучшего продвижения сайта в яндексе, он не любит, когда в индекс попадают пустые страницы (типа формы контактов или формы добавления организаций, страницы авторизации).
Ниже приведен robots.txt для сайта или блога на wordpress:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: domen.ru
Давайте рассмотрим каждую строчку в отдельности. Весь файл поделен на две категории, они разделены пустой строчкой. В первом описываются исключения для всех поисковых ботов одновременно. Во втором только для яндекса.
Строчка «User-agent: *» описывает разом всех поисковых ботов.
Строчка «User-agent: Yandex» описывает исключения для яндекса.
Строчки, которые начинаются с «Disallow» это исключения для индексации, в моей подборке это служебные директории, страницы авторизации.
У вас, наверное, возник вопрос, зачем делать две категории с одинаковыми исключениями? Это нужно, для того чтобы зазеркалить домен, то есть, чтобы глазами поисковым систем он значился либо с www, либо без него. Для этого есть строчка «Host» Нужно это для того чтобы в индексе не было двух сайтов (сайт с www и без).