robots.txt – это обычный текстовый файл, который можно составить при помощи любого текстового редактора, например блокнота. Этот файл должен находиться в корневом каталоге сайта. В robots.txt можно запретить доступ поисковых систем, при индексировании сайта, к определённым каталогам или файлам Вашего сайта. А также указать поисковикам, что нужно индексировать в первую очередь. Грубо говоря, это файл нужен для управления индексирования сайта поисковыми системами.
Почему то, владельцы некоторых сайтов, не знают ничего об этом файле и не имеют его на своём сайте. Конечно, без файла robots.txt сайт будет работать, но в плане продвижения и индексировании сайта, это файл очень важен. Следовательно, наличие этого файла на сайте – просто необходимо.
И так, нам надо сделать файл robots.txt. Запускаем блокнот и пишем примерно такой код:
1 2 | User-Agent: * Disallow: /myfile/ |
Теперь расшифруем, переведём на человеческий язык этот код: Запретить всем поисковым роботам индексацию папки: myfile и файлов находящихся в ней. Где символ * – будет означать все, т.е. запрет индексации для всех поисковых роботов.
1 2 | User-Agent: Yandex Disallow: /myfile.php |
А здесь расшифровка будет такой: Запретить только роботам Яндекса индексацию файла: myfile.php.
Как видите, можно запретить индексирование любых файлов и папок сайта, указав в robots.txt желаемое количество строк.
1 2 3 4 | User-Agent: * Disallow: /myfile.php Disallow: /myfile1/ Disallow: /myfile2/ |
Этот код будет означать: запретить всем поисковым роботам индексацию файла: myfile.php и папок со всеми файлами в них: myfile1 и myfile2.
В robots.txt можно применять комментарии.
1 2 | User-Agent: * Disallow: / # запрещает индексацию всего сайта |
В этом коде имеются такие значения: запретить всем роботам индексацию всего сайта. Где символ # — предназначен для описания комментариев. Всё что идёт после этого символа и первого перевода строки не учитывается.
И ещё один момент. Хорошо бы в файле robots.txt указать главное зеркало Вашего сайта, т.е. домен сайта с www или без. Это необходимо для продвижения Вашего сайта. Желательно, когда все ссылки с других ресурсов на Ваш сайт имеют один вид, например: www.mysite.ru или mysite.ru. Иначе, при индексации сайта роботы могут разделить Ваш сайт на зеркала, а это не очень хорошо для продвижения сайта. Я уже сталкивался с этой проблемой. Лучше прописать в robots.txt главное зеркало сайта c www или без.
1 2 3 4 5 | User-Agent: * Disallow: /myfile.php Disallow: /myfile1/ Disallow: /myfile2/ Host: www.mysite.ru |
Теперь при помощи дерективы: Host, робот зеркальщик определит главным зеркалом сайта: www.mysite.ru
Остаётся только сохранить файл под именем: robots.txt и загрузить в корень Вашего сайта на сервер.