Файл robots.txt

Файл robots.txt создается в корневой директории сайта и нужен для более правильной работы приходящих ботов, например ботов поисковых систем.
Чтобы позволить роботам индексировать весь сайт достаточно написать:
User-agent: * Disallow

Эти слова говорят ботам, которые приходят на наш ресурс, что можно индексировать все страницы, ограничений нет.
Чтобы запретить индексацию какого-либо сайта либо отдельной страницы, либо какой-то папки, необходимо написать:
User-agent: *
Disallow: /
Данный код запрещает индексировать все страницы вашего сайта. Продолжайте экспериментировать с этим файлом, использовать другие функции и поисковые системы будут намного лучше понимать вас, а значит и ранжировать выше в выдаче. Желаю вам продолжать изучать такую непростую науку как SEO.