robots.txt запрещаем индексацию сайта

Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым: