Мобильный портал
Украины Комплекс работ по оптимизации и продвижению сайта
мобильной тематики. На сайте представленымобильные телефоны, бесплатные JAVA игры для телефона, отправка СМС
сообщения с подменой номера.
Снижены цены на создание сайтов интернет магазинов. Теперь Вы можете заказать разработку сайта по более доступным тарифам. Начните свой бизнес в интернет с нами!
Нашими специалистами разработана собственная уникальная система управления контентом, которая позволяет самостоятельно клиенту вносить изменения в его сайт, администрировать отзывы пользователей, проводить рассылки, вести учет и статистику посещений своего сайта.
Взят в аренду стоечный корпус в украинском дата-центре. Теперь при заказе сайта у нас, мы можем разместить его на украинском сервере.
Составление файла robots.txt
Владимир ЧЕРНЫШОВ
Как известно, файл robots.txt используется для запрета индексации части или всего сайта всевозможными роботами. Правильное составление этого файла позволит избежать индексации документов, для индексации не предназначенных. Формат файла robots.txt
robots.txt - простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt - неправильно).
В файле содержатся записи, отделяемые одной или несколькими пустыми строками (разделяемыми CR, CRNL, NL или \r, \r\n, \n). Каждая запись, в свою очередь, состоит из строк следующего вида:
Поле является нечувствительным к регистру (case insensitive).
Каждая запись начинается одной или несколькими строками, где имя_поля=User-agent, после чего следует одна или несколько строк, где имя_поля=Disallow, имена полей, которые отличаются от двух указанных, игнорируются2.
Знак "#" означает, что пробелы перед ним и все символы до конца строки являются комментарием. Строки, содержащие только комментарий, игнорируются и не могут использоваться для разделения записей. User-agent
Значением этого поля является имя робота, к которому применяются правила иключений;
Если строк с User-agent несколько, то для всех роботов применяются одинаковые правила, которые содержаться в текущей записи;
Если значение поля равно "*", то правила применяются к любому роботу, для которого нет отдельной записи. В файле robots.txt может быть только одна запись с User-agent: *.
Disallow
В записи должно быть хотя бы одно поле Disallow;
в поле Disallow указывается частичный или полный путь (URL), который не будет посещен;
пустое значение (Disallow: ) интерпретируется как разрешение на посещение любой страницы;
регулярные выражения и символы подстановки запрещены3.