Файл robots.txt
Файл robots.txt — это текстовый файл, который содержит информацию для поисковых роботов о том, какие страницы сайта нужно индексировать, а какие нет. Этот файл находится в корневой директории сайта и содержит директивы для разных типов поисковых роботов. Файл robots.txt может содержать следующие директивы: Пример файла robots.txt: User-agent: * Disallow: /admin/ Disallow: /cgi-bin/ Disallow: /uploads/ Allow: …