Игнорирование файла robots.txt
Дата публикации: 09.06.2013 12:55:43
Какие страницы нужно закрывать В ROBOTS.TXT:
результаты поиска по сайту;
страницы со входом в CMS;
страницы-дубликаты
страницы с логами;
сервисные страницы с базами данных
любые другие технические страницы, не несущие для пользователя полезной информации (страницы, находящиеся в разработке и не имеющие текстового контента, страницы авторизации, регистрации и т.п.).