В последнее время часто возникает задача запретить индексацию всех страниц сайта кроме главной. Задача простейшая, но с нюансами в решении.
Отмечу сразу, первый вариант решения категорически не верный, и приведет скорее всего к появлению в индексе дублей главной страницы со всеми вытекающими последствиями.
Allow: /index.htm Disallow: /
Правильное решение
Задача решается с помощью спецсимвола $, который отменяет превентивный запрет на индексацию.
Allow: /$ Disallow: /
Аналогичным образом можно запретить индексацию страниц определенной директории.
Allow: /books/$ Disallow: /books/*
Таким образом, индексироваться будет только родительская страница /books/, а все дочерние будут запрещены, например:
- /books/book-1.htm
- /books/book-2.htm
- /books/book-3.htm
В заключение, напомню, что поисковые системы по-разному интерпретируют запреты на индексацию. Например, для Google robots.txt — это просто рекомендация. И далеко не факт, что запрещенные страницы не будут индексироваться.
Подпишитесь на мой телеграм и первыми получайте новые материалы, в том числе которых нет на сайте.
