Составление файла robots.txt


Владимир ЧЕРНЫШОВ

Как известно, файл robots.txt используется для запрета индексации части или всего сайта всевозможными роботами. Правильное составление этого файла позволит избежать индексации документов, для индексации не предназначенных. Формат файла robots.txt

robots.txt - простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt - неправильно).

В файле содержатся записи, отделяемые одной или несколькими пустыми строками (разделяемыми CR, CRNL, NL или \r, \r\n, \n). Каждая запись, в свою очередь, состоит из строк следующего вида:

имя_поля:[необязательные пробелы]значение[необязательные пробелы]

Поле является нечувствительным к регистру (case insensitive).

Каждая запись начинается одной или несколькими строками, где имя_поля=User-agent, после чего следует одна или несколько строк, где имя_поля=Disallow, имена полей, которые отличаются от двух указанных, игнорируются2.

Знак "#" означает, что пробелы перед ним и все символы до конца строки являются комментарием. Строки, содержащие только комментарий, игнорируются и не могут использоваться для разделения записей. User-agent
Значением этого поля является имя робота, к которому применяются правила иключений;
Если строк с User-agent несколько, то для всех роботов применяются одинаковые правила, которые содержаться в текущей записи;
Если значение поля равно "*", то правила применяются к любому роботу, для которого нет отдельной записи. В файле robots.txt может быть только одна запись с User-agent: *.
Disallow
В записи должно быть хотя бы одно поле Disallow;
в поле Disallow указывается частичный или полный путь (URL), который не будет посещен;
пустое значение (Disallow: ) интерпретируется как разрешение на посещение любой страницы;
регулярные выражения и символы подстановки запрещены3.



НА ГЛАВНУЮ