robots-txt robots.txt – это обычный текстовый файл, который можно составить при помощи любого текстового редактора, например блокнота. Этот файл должен находиться в корневом каталоге сайта. В robots.txt можно запретить доступ поисковых систем, при индексировании сайта, к определённым каталогам или файлам Вашего сайта. А также указать поисковикам, что нужно индексировать в первую очередь. Грубо говоря, это файл нужен для управления индексирования сайта поисковыми системами.

Почему то, владельцы некоторых сайтов, не знают ничего об этом файле и не имеют его на своём сайте. Конечно, без файла  robots.txt сайт будет работать, но в плане продвижения и индексировании сайта, это файл очень важен. Следовательно,  наличие этого файла на сайте – просто необходимо.

И так, нам надо сделать файл robots.txt. Запускаем блокнот и пишем примерно такой код:

1
2
User-Agent: *
Disallow: /myfile/

Теперь расшифруем, переведём на человеческий язык этот код: Запретить всем поисковым роботам индексацию папки: myfile и файлов находящихся в ней. Где символ * – будет означать все, т.е. запрет индексации для всех поисковых роботов.

1
2
User-Agent: Yandex
Disallow: /myfile.php

А здесь расшифровка будет такой: Запретить только роботам Яндекса индексацию файла: myfile.php.

Как видите, можно запретить индексирование любых файлов и папок сайта, указав в robots.txt желаемое количество строк.

1
2
3
4
User-Agent: *
Disallow: /myfile.php
Disallow: /myfile1/
Disallow: /myfile2/

Этот код будет означать: запретить всем поисковым роботам индексацию файла: myfile.php и папок со всеми файлами в них: myfile1 и myfile2.

В robots.txt можно применять комментарии.

1
2
User-Agent: *
Disallow: / # запрещает индексацию всего сайта

В этом коде имеются такие значения: запретить всем роботам индексацию всего сайта. Где символ # — предназначен для описания комментариев. Всё что идёт после этого символа и первого перевода строки не учитывается.

И ещё один момент. Хорошо бы в файле robots.txt указать главное зеркало Вашего сайта, т.е. домен сайта с www или без. Это необходимо для продвижения Вашего сайта. Желательно, когда все ссылки с других ресурсов на Ваш сайт имеют один вид, например: www.mysite.ru или mysite.ru. Иначе, при индексации сайта роботы могут разделить Ваш сайт на зеркала, а это не очень хорошо для продвижения сайта. Я уже сталкивался с этой проблемой. Лучше прописать в robots.txt главное зеркало сайта c www или без.

1
2
3
4
5
User-Agent: *
Disallow: /myfile.php
Disallow: /myfile1/
Disallow: /myfile2/
Host: www.mysite.ru

Теперь при помощи дерективы: Host, робот зеркальщик определит главным зеркалом сайта: www.mysite.ru

Остаётся только сохранить файл под именем: robots.txt и загрузить в корень Вашего сайта на сервер.

Буду очень признателен если добавите эту страницу в свою социалку:
    Рекламная пауза