Запустив сайт на WordPress, крайне желательно скрыть все технические и дублирующие страницы от индексации поисковыми машинами. Сделать это можно с помощью файла robots.txt.
Robots.txt — это текстовый файл, расположенный в корневой папке сайта, предназначенный для поисковых робот. В этом файле указываются параметры индексирования сайта как для всех роботов сразу, так и для каждой поисковой системы в отдельности.
Существует несколько вариаций наполнения robots.txt для WordPress. Однако, самым универсальным является такой вариант.
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: danilin.biz User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Sitemap: https://danilin.biz/sitemap.xml
Установить его можно следующим образом. Создаем в любом Блокноте файл robots.txt, копируем в него всю выше указанную информацию, не забыв заменить домен danilin.biz на свой. И закачиваем файл в корень своего сайта.
Делаю сайты на Вордпресс с 2008 года, в том числе уникальные инструменты для решения сложных бизнес‑задач.
Подробнее