SEO

Как разрешить индексацию только главной страницы

28 ноября 2016 26

В последнее время часто возникает задача запретить индексацию всех страниц сайта кроме главной. Задача простейшая, но с нюансами в решении.

Reg.ru: Неограниченный бесплатный трафик
Reg.ru: Неограниченный бесплатный трафик

Отмечу сразу, первый вариант решения категорически не верный, и приведет скорее всего к появлению в индексе дублей главной страницы со всеми вытекающими последствиями.

Allow: /index.htm
Disallow: /

Правильное решение

Задача решается с помощью спецсимвола $, который отменяет превентивный запрет на индексацию.

Allow: /$
Disallow: /

Аналогичным образом можно запретить индексацию страниц определенной директории.

Allow: /books/$
Disallow: /books/*

Таким образом, индексироваться будет только родительская страница /books/, а все дочерние будут запрещены, например:

  • /books/book-1.htm
  • /books/book-2.htm
  • /books/book-3.htm

В заключение, напомню, что поисковые системы по-разному интерпретируют запреты на индексацию. Например, для Google robots.txt — это просто рекомендация. И далеко не факт, что запрещенные страницы не будут индексироваться.

Автор: Иван Данилин

Практикующий веб-разработчик, специализируюсь на платформе WordPress.

Комментарии

Разгоните свой WordPress

Хостинг-провайдер номер один в России — REG.RU

Подробнее