Игнорирование файла robots.txt

Дата публикации: 09.06.2013 12:55:43

Какие страницы нужно закрывать В ROBOTS.TXT:

• • результаты поиска по сайту;

  • страницы со входом в CMS;

  • страницы-дубликаты

  • страницы с логами;

  • сервисные страницы с базами данных

  • любые другие технические страницы, не несущие для пользователя полезной информации (страницы, находящиеся в разработке и не имеющие текстового контента, страницы авторизации, регистрации и т.п.).