Robots.txt отвечает за индексацию страниц вашего сайта.
Состоит из ограниченного количества команд, которые запомнить довольно легко:
User-agent: - К какому поисковику применять правила индексирования. Имеет параметры * - все поисковики, Yandex – для Яндекса, Googlebot – для Гугла (есть еще роботы, если понадобятся, можете найти их в интернете).
Allow: - разрешает поисковикам индексировать указанные директории типа /images/*.jpg
Diallow: - противоположность Allow:
Пример:
User-agent: Googlebot
Allow: /images/*.jpg
Disallow: /images/*.gifМы дали разрешение Google индексировать в папке images изображения формата jpg и запретили формат gif. * - означает «все»
Пример:
#неправильно
User-agent: *
Allow: /images/*.jpg
User-agent: *
Allow: /images/*.jpg
#правильно
User-agent: *
Allow: /images/*.jpg
User-agent: *
Allow: /images/*.jpg
Если вдруг вам понадобится прописать несколько User-agent, они пишутся с пропуском одной строки.
Хостинг со знаком качества
