В видео уроке наглядно показано как выглядит стандарт файла robots.txt что мы запрещаем и и как правильно грамматический создавать этот файл
Источник ucozon.ru