robots.txt – это обычный текстовый файл, который можно составить при помощи любого текстового редактора, например блокнота. Этот файл должен находиться в корневом каталоге сайта. В robots.txt можно запретить доступ поисковых систем, при индексировании сайта,...

Далее