В данном уроке пойдёт речь о закрытии доступа поисковым ботам к тем разделам сайта, которые не следует индексировать. Проще всего это сделать с помощью файла robots.txt, который необходимо разместить в корне сервера.

В этот фаил можно вносить несколько параметров. Первый из них, это параметр User-agent, который указывает на то, какому именно поисковику Вы хотите запретить индексацию тех или иных каталогов или страниц.

Если Вы хотите отнести ваш запрет одновременно ко всем поисковым ботам, то поставьте в это поле звездочку (*).

Далее идет параметр Disallow, который указывает какие именно папки и файлы не нужно индексировать.

Например, нам необходимо запретить поисковику доступ к папкам с изображениями, скриптами, временными файлами, а также к файлам страниц ошибок.

Вот как это будет выглядеть:

User-agent: *
Disallow: /error404.php
Disallow: /error500.php
Disallow: /img/
Disallow: /cgi-bin/
Disallow: /temp/

Таким образом мы запретили поисковым ботам индексировать некоторые страницы и разделы сайта.

Напомню, что набирается всё это дело в обыкновенном блокноте, а затем копируется в корень сервера с помощью FTP клиента обязательно в режиме ASCII (современные FTP клиенты делают это автоматически).

Вот Вам ещё на всякий случай названия самых популярных в рунете поисковых ботов:

Вот самые распространённые в Рунете поисковые боты.

Рамблер - StackRambler

Яндекс - Yandex

Google - Googlebot

MSN – msnbot

Пользуйтесь на здоровье!