Основы файла robots.txt

Очень часто веб-мастера недооценивают значение файла robots.txt в продвижении сайта. Однако смею вас заверить, это неотъемлемая часть для успешного выхода в топ, и сейчас я вам это докажу.



Начнем с того что 80% ресурсов создаются с помощью cms, это не секрет. Поэтому в корневой папке на сервере где расположен сайт, присутствует много лишних папок и файлов, которые подвергаются индексации поисковиками.

Они индексирую всё то, на что стоят ссылки: и папку админа, и скрипты, и плагины. И для того чтобы как-то ограничить поисковых роботов был создан файл robot.txt. Это простой текстовой файл в корне сайта, в котором SEO-оптимизатор просто обязан прописать правила для индексации сайта.
Значения кода в robots.txt

Правильный robots.txt должен содержать хотя бы одну директиву «Disallow», после каждой записи «User-agent». В файле так же используются символы * и $, которые позволяют задавать определенные логические выражения, символ * означает «любой», а символ $ «неизвестный». Вообще, есть 5 основных директив:

User-agent. Тут можно указать, какому роботу предназначены команды.
Disallow. Запрещает индексацию.
Allow. Разрешает.
Host. Основной адрес сайта.
Sitemap. Карта сайта.
Примеры

Эта запись разрешает всем поисковикам индексировать весь сайт, так как директива «Disallow» пуста, а в «User-agent» стоит звездочка.

User-agent: *
Disallow:

А эта запись запрещает индексацию всего сайта всем поисковикам.

User-agent: *
Disallow: /

Запрет на индексацию определенного каталога.

User-agent: *
Disallow: /tags/

Запрет на индексацию всех директорий и файлов, которые находятся внутри каталога tags.

User-agent: *
Disallow: /tags

Запрет на индексацию файлов по расширению.

User-agent: *
Disallow: *.jpg

Если вместо директивы Disallow поставить Allow, то соответственно запрет станет разрешением.

С директивами User-agent, Disallow, Allow разобрались, теперь о директивах Host и Sitemap. Директива Host указывает основной адрес вашего сайта, что позволяет также склеить адреса с www и без www.

User-agent: *
Disallow:
Host: site.ru или www.site.ru

Ну и директива Sitemap указывает поисковикам, что у вас есть карта сайта, которая позволяет им быстрее проиндексировать ваш сайт.

User-agent: *
Disallow:
Host: site.ru или www.site.ru
Sitemap: http://site.ru/sitemap.xml

Надеюсь, эти простые правила создания файла robots.txt помогут вам в продвижении вашего сайта.