robots-txt
SEO

Закрываем от индексирования ненужные страницы WordPress с помощью robots.txt

18 января 2012 23

Запустив сайт на WordPress, крайне желательно скрыть все технические и дублирующие страницы от индексации поисковыми машинами. Сделать это можно с помощью файла robots.txt.

CodeCanyon: Лучшие плагины для WordPress
CodeCanyon: Лучшие плагины для WordPress

Robots.txt — это текстовый файл, расположенный в корневой папке сайта, предназначенный для поисковых робот. В этом файле указываются параметры индексирования сайта как для всех роботов сразу, так и для каждой поисковой системы в отдельности.

Существует несколько вариаций наполнения robots.txt для WordPress. Однако, самым универсальным является такой вариант.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: danilin.biz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://danilin.biz/sitemap.xml

Установить его можно следующим образом. Создаем в любом Блокноте файл robots.txt, копируем в него всю выше указанную информацию, не забыв заменить домен danilin.biz на свой. И закачиваем файл в корень своего сайта.

Автор: Иван Данилин

Практикующий веб-разработчик, специализируюсь на платформе WordPress.

Комментарии

Разгоните свой WordPress

Хостинг-провайдер номер один в России — REG.RU

Подробнее