robots.txt запрещаем индексацию сайта

Чтобы запретить индексацию сайта всеми поисковыми роботами, создайте в корне сайта файл robots.txt со следующим содержимым:

Пинг сервисы. Ускоряем индексацию

Вы только представьте себе ситуацию: Написали вы пост на своем блоге или сайте, нажали кнопочку опубликовать, тут же взметнулись поисковые роботы и примчались к вам. Они тянут свои жирные, кровожадные до информации щупальца, чтоб пощупать свеженький текст написанный вами и оповестить о его содержании своих боссов-поисковиков! Прям как в матрице! Так вот, не такая уж это и фантастическая картина — […]