noindex,nofollow и robots.txt
Хорошей практикой является тестирование скриптов сайтов (ровно как и вносимых в них изменений) не только на localhost, но и на живом продакшн хостинге. Тестирования вообще слишком много не бывает :)
Я для таких целей параллельно основному сайту поднимаю его копию в сабдомене, например:
- example.com - основное приложение
- dev.example.com - версия для тестирования
Но, если вы случайно засветите второй url, поисковые машины могут его проиндексировать и он появится в их выдаче. Что б избежать этого есть простое решение:
поместить в корень тестового сайта файл robots.txt такого содержания:
# go away
User-agent: *
Disallow: /детальнее про robots.txt можно почитать тут.
Контрольный выстрел - поместить в раздел head сайта (наверняка он находится в шаблоне) следующий код:
<мета name="robots" content="noindex,nofollow" />мета заменить на meta - не пропускает фильтр.
Відгуки
У Drupal є модуль Meta tags:
http://drupal.org/project/nodewords
який, крім усього іншого, дозволяє маніпулювати комбінаціями з noindex,nofollow.
Главное не перетащить случайно этот мета тег на рабочую версию сайта, в этом отношении robots.txt безопасней.
А еще можно ограничить доступ подсетью своего провайдера, для этого в .htaccess пишем:
Deny from all
Allow from 83.179
это закроет доступ не только роботам, но и большинству любопытных.
будем використовувати.
Додати відгук