В последнее время часто возникает задача запретить индексацию всех страниц сайта кроме главной. Задача простейшая, но с нюансами в решении.

Отмечу сразу, первый вариант решения категорически не верный, и приведет скорее всего к появлению в индексе дублей главной страницы со всеми вытекающими последствиями.
Allow: /index.htm Disallow: /
Правильное решение
Задача решается с помощью спецсимвола $, который отменяет превентивный запрет на индексацию.
Allow: /$ Disallow: /
Аналогичным образом можно запретить индексацию страниц определенной директории.
Allow: /books/$ Disallow: /books/*
Таким образом, индексироваться будет только родительская страница /books/, а все дочерние будут запрещены, например:
- /books/book-1.htm
- /books/book-2.htm
- /books/book-3.htm
В заключение, напомню, что поисковые системы по-разному интерпретируют запреты на индексацию. Например, для Google robots.txt — это просто рекомендация. И далеко не факт, что запрещенные страницы не будут индексироваться.
Подпишитесь на мой телеграм и первыми получайте новые материалы, в том числе которых нет на сайте.
200 бесплатных наборов кистей для Фотошопа
580Как в Фотошопе сменить русский язык на английский
281Как быстро наполнить сайт на WordPress с помощью плагина WP All Import
2235 лучших книг по Вордпресс на русском языке
178Как быстро удалить все исходящие заявки в друзья во Вконтакте
158Установка временнОй зоны в PHP
14525 лучших шаблонов для создания интернет-магазина на OpenCart
142Как открыть *.CDR в Adobe Illustrator
139Как запретить генерацию карт кода css.map
138Как отправить большое видео в Ватсап
11510 рекомендуемых книг-бестселлеров по PHP
113Чёрная Пятница 2019: Покупаем Вордпресс шаблон со скидкой
111Как использовать Media Query в JavaScript
11020 лучших шаблонов Вордпресс для сферы услуг
106Как импортировать большую базу данных MySQL в обход ограничений phpMyAdmin
104Как скачать приватное видео из фейсбука
85Подключаем цели Яндекс Метрики к WordPress Contact Form 7
78Как разрешить загрузку SVG и других форматов файлов в Вордпресс?
7720 лучших Вордпресс шаблонов для образовательных сайтов
76Как добавить админа в Вордпресс без доступа в админку
66