Как составить правильный robots.txt для яндекса?
Общие сведения о Robot.txt
Часто возникает вопрос - какой robots.txt проставить, когда сайт только приходит? Есть ли правильный robots.txt ? Robots.txt для Яндекса - особенный?
Многие начинающие сайтостроители задаются вопросом, что за файл robots.txt для Яндекса и для чего он собственно нужен? Каждый вебмастер знает, и при создании своего собственного сайта обязательно создает, такой файл. Правильного единого универсального файла robots.txt не существует, поскольку для каждого сайта он может быть написан индивидуально.
Файл robots.txt для Яндекса предназначается для поисковых роботов. Эти роботы и круглосуточно ходят по сайтам, производя их индексацию. С помощью этого файла вебмастер может указать необходимые параметры индексации своего сайта. В данном файле можно как разрешить, так и запретить поисковым роботам, индексировать отдельные директории и каталоги.
В файле robots.txt, вебмастер может произвести различные настройки и с помощью их разрешить или запретить индексацию для роботов одной или нескольких поисковых систем одновременно.
Создать файл robots.txt для Яндекса довольно не сложно. Он пишется в любом текстовом редакторе. Лучше всего для написания robots.txt использовать блокнот или WordPad. Но как узнать, что именно нужно писать в этом файле? Достаточно набрать соответствующий запрос в поисковике, например, Яндексе, и поисковая система выдаст вам множество инструкций по созданию файла robots.txt для Яндекса. Ну а далее, вам нужно изучить инструкцию по созданию и написанию данного файла. Если вы не знаете, как правильно написать robots.txt, то лучше, если вы найдете подробную инструкцию, и будете создавать файл по инструкции.
После создания файла robots.txt вам будет необходимо загрузить данный файл в корневой каталог на вашем сайте. Поисковые роботы, посещая ваш сайт, будут видеть этот файл, и индексировать содержимое файла в соответствии с прописанными вами командами и произведенными настройками в этом файле.
Файл robots.txt для Яндекса призван ускорить индексацию вашего сайта поисковыми роботами, даже если вы запретили индексацию некоторых частей сайта. Плюс к ускоренной индексации, этот файл позволит роботу более правильно проводить индексацию вашего сайта и в будущем, поскольку поисковые роботы посещают сайты регулярно и обновляют информацию о сайтах.
В заключение можно отметить, что robots.txt для Яндекс является важным файлом вашего сайта, с помощью которого, вы значительно упростите общение вашего сайта с поисковыми роботами. Конечно, сайт вполне может существовать и без robots.txt, но в таком случае у вас вполне могут возникнуть проблемы с поисковыми системами. Например, они совсем не будут индексировать ваш сайт, а, следовательно, ваш сайт не будет появляться в поисковой выдаче по запросам пользователей. А это означает, что по соответствующему вашему сайту запросу, к вам никто не придет с поисковых систем, и вы можете потерять множество посетителей. А это в свою очередь скажется на популярности вашего сайта. Поэтому не стоит пренебрегать файлом robots.txt и нужно обязательно его создать.
Минимальный robots.txt
User-Agent: *
Host: www.site.ru
В большинстве случаев больше ничего не нужно. В первой строчке (User-Agent: *) вы показываете, что инструкция - для всех роботов.
Во второй строчке (Host: www.site.ru) вы показываете какое у сайта главное зеркало. Выбирайте то зеркало, которое вы хотите, чтобы отображалось в поиске.
Редактируем robots.txt от CMS
Если CMS (например Drupal) что-то уже от себя прописала в robots.txt, то поставьте инструкции для robots.txt из первого пункта в самом начале. Как правило, в этом случае инструкция User-Agent: * уже есть, просто допишите про Host в конце столбика инструкций для User-Agent: *
robots.txt disallow
Запрет разделов и страниц от индексации с помощью robots.txt
Если вы что-то явно хотите запретить для индексации, то в файле robots.txt указывайте пункты disallow после указания user-agent, но до директивы host.
Заметьте, что Disallow: /private запретит доступ не только к /private, но и к /private/private1/file1.html, /private/file.html, и к самому /private. Т.е. по умолчанию ко всем инструкциям как бы приписан символ звездочки.
Запрещаем урлы с произвольным буквосочетанием
Звездочка означает любую последовательность символов.
C помощью директив Disallow вы можете запретить урлы, в которых встречается определенное буквосочетание - это огромная сила (так можно запретить, например, индексацию корзины в интернет-магазине)
Пример из Яндекса:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'
Т.е. с помощью символа звездочки вы можете творить чудеса.
Символ $ (доллара) в robots.txt
Еще есть довольно интересный символ - $, он отменяет невидимо приписанный в конце каждой инструкции символ звездочки. Т.е.
Disallow: /private$
запрещает индексацию /private и все. При этом файлы /private/file1.html, /private/private1 разрешены к индексации. Иногда довольно полезная штука.
Корректируем robots.txt, если нужно, получая информацию из яндекс.вебмастер.
Далее - зарегистрируйте сайт в яндекс.вебмастер и смотрите, есть ли какие либо проблемы с индексацией, нет ли индексации нежелательных страниц и т.п. Можно смотреть индексацию через яндекс.вебмастер или просто запросом url:www.site.ru*, и в найденном поискать страницы, которые вы запретили или разрешили к индексации.
Ссылки по теме:
