robots.txt запрещаем индексацию сайта

Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым:

User-agent: *
Disallow: /

т.е. мы тупо запретили роботам тусить у нас на сайте, кстати также можно ограничивать доступ на индексацию определенных директорий сайта, например /cgi/

User-agent: *
Disallow: /cgi/

а также определенным роботам:

User-agent: Yandex
Disallow: /

В общем, веселых экспериментов