Как сделать файл robots.txt
февраля 1, 2010
robots.txt – это обычный текстовый файл, который можно составить при помощи любого текстового редактора, например блокнота. Этот файл должен находиться в корневом каталоге сайта. В robots.txt можно запретить доступ поисковых систем, при индексировании сайта, к определённым каталогам или файлам Вашего сайта. А также указать поисковикам, что нужно индексировать в первую очередь. Грубо говоря, это файл нужен для управления индексирования сайта поисковыми системами.




