noindex,nofollow и robots.txt

Зображення користувача r2d2.

Хорошей практикой является тестирование скриптов сайтов (ровно как и вносимых в них изменений) не только на localhost, но и на живом продакшн хостинге. Тестирования вообще слишком много не бывает :)

Я для таких целей параллельно основному сайту поднимаю его копию в сабдомене, например:

  • example.com - основное приложение
  • dev.example.com - версия для тестирования

Но, если вы случайно засветите второй url, поисковые машины могут его проиндексировать и он появится в их выдаче. Что б избежать этого есть простое решение:

поместить в корень тестового сайта файл robots.txt такого содержания:

# go away
User-agent: *
Disallow: /

детальнее про robots.txt можно почитать тут.

Контрольный выстрел - поместить в раздел head сайта (наверняка он находится в шаблоне) следующий код:

<мета name="robots" content="noindex,nofollow" />

мета заменить на meta - не пропускает фильтр.

Відгуки

Зображення користувача romand.

У Drupal є модуль Meta tags:
http://drupal.org/project/nodewords
який, крім усього іншого, дозволяє маніпулювати комбінаціями з noindex,nofollow.

Зображення користувача Евгений.

Главное не перетащить случайно этот мета тег на рабочую версию сайта, в этом отношении robots.txt безопасней.

А еще можно ограничить доступ подсетью своего провайдера, для этого в .htaccess пишем:
Deny from all
Allow from 83.179
это закроет доступ не только роботам, но и большинству любопытных.

Зображення користувача romand.

будем використовувати.

Syndicate content

Реклама