YOUSELLER
Среда, 11.12.2019, 10:13
Приветствую Вас Гость | RSS
 
Главная Каталог статей и уроковРегистрацияВход
Меню сайта
Категории каталога
HTML [4]
CSS [8]
Для сайта [4]
Электронные деньги [2]
Разное [6]
Мини-чат
200
Наш опрос
Оцените мой сайт
Всего ответов: 18
Главная » Статьи » Уроки » HTML

Урок: Как правильно использовать фаил robots.txt для запрета индексации фаилов и папок?

В данном уроке пойдёт речь о закрытии доступа поисковым ботам к тем разделам сайта, которые не следует индексировать. Проще всего это сделать с помощью файла robots.txt, который необходимо разместить в корне сервера.

В этот фаил можно вносить несколько параметров. Первый из них, это параметр User-agent, который указывает на то, какому именно поисковику Вы хотите запретить индексацию тех или иных каталогов или страниц.

Если Вы хотите отнести ваш запрет одновременно ко всем поисковым ботам, то поставьте в это поле звездочку (*).

Далее идет параметр Disallow, который указывает какие именно папки и файлы не нужно индексировать.

Например, нам необходимо запретить поисковику доступ к папкам с изображениями, скриптами, временными файлами, а также к файлам страниц ошибок.

Вот как это будет выглядеть:

User-agent: *
Disallow: /error404.php
Disallow: /error500.php
Disallow: /img/
Disallow: /cgi-bin/
Disallow: /temp/

Таким образом мы запретили поисковым ботам индексировать некоторые страницы и разделы сайта.

Напомню, что набирается всё это дело в обыкновенном блокноте, а затем копируется в корень сервера с помощью FTP клиента обязательно в режиме ASCII (современные FTP клиенты делают это автоматически).

Вот Вам ещё на всякий случай названия самых популярных в рунете поисковых ботов:

Вот самые распространённые в Рунете поисковые боты.

Рамблер - StackRambler

Яндекс - Yandex

Google - Googlebot

MSN – msnbot

Пользуйтесь на здоровье!

Категория: HTML | Добавил: Денис (05.08.2008) | Автор: Евгений Попов
Просмотров: 709 | Рейтинг: 0.0/0 |
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Форма входа
[05.08.2008][Евгений Попов]
А вы делаете эти дизайнерские ошибки на своём сайте? (1)
[05.08.2008][Евгений Попов]
5 точек потенциального клиента, которые должен знать каждый бизнесмен. (0)
[05.08.2008][Евгений Попов]
5 причин, по которым люди выберут Ваш товар. (0)
[05.08.2008][Евгений Попов]
Как превратить Ваш сайт в магнит влияния на клиентов? (0)
[05.08.2008][Евгений Попов]
Электронная коммерция и электронный (онлайн) бизнес. В чём различия? (0)
[05.08.2008][Евгений Попов]
Наступило лучшее время для начала бизнеса в Сети. (0)
[05.08.2008][Евгений Попов]
Бесплатный хостинг для ведения бизнеса - забудьте! (0)
[05.08.2008][Евгений Попов]
Цель - это путь к вершине! (0)
[05.08.2008][HTML]
Как замаскировать тэг H1 (1)
[05.08.2008][HTML]
Урок: Как правильно использовать фаил robots.txt для запрета индексации фаилов и папок? (0)
Поиск
Друзья сайта
php5.ru
[17.08.2008][Видеоуроки]
Как сделать шапку сайта, если ширина сайта задана в процентах? (3)
[17.08.2008][Видеоуроки]
Как избавиться от спама с помощью Google? (1)
[17.08.2008][Видеоуроки]
Внешний вид формы обратной связи (0)
[16.08.2008][Видеоуроки]
Как проще всего сделать поиск по сайту (2)
[17.08.2008][Видеоуроки]
Создание интересных CSS меню для сайта (3)
[17.08.2008][Видеоуроки]
Плавное увеличение изображения при клике (0)
[06.08.2008][Программы]
Audacity 1.2.6 - бесплатный аудиоредактор (0)
[05.08.2008][Программы]
Fortop FLV Player (0)
[06.08.2008][Программы]
FileZilla - FTP клиент (0)
[05.08.2008][Скрипты]
Движок форума PHPBB3 (3)
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
Copyright © 2019