Автор Тема: Немного о robots.txt  (Прочитано 1206 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Eugenious

  • Администратор
  • *****
  • Сообщений: 20
  • Карма: +3/-0
Немного о robots.txt
« : 08 Июль 2019, 16:56:34 pm »
Robots.txt отвечает за индексацию страниц вашего сайта.
Состоит из ограниченного количества команд, которые запомнить довольно легко:
User-agent: - К какому поисковику применять правила индексирования. Имеет параметры * - все поисковики, Yandex – для Яндекса, Googlebot – для Гугла (есть еще роботы, если понадобятся, можете найти их в интернете).
Allow: - разрешает поисковикам индексировать указанные директории типа /images/*.jpg
Diallow: - противоположность Allow:

Пример:
User-agent: Googlebot
Allow: /images/*.jpg
Disallow: /images/*.gif
Мы дали разрешение Google индексировать в папке images изображения формата jpg и запретили формат gif. * - означает «все»

Пример:
#неправильно
User-agent: *
Allow: /images/*.jpg
User-agent: *
Allow: /images/*.jpg
 
#правильно
User-agent: *
Allow: /images/*.jpg

User-agent: *
Allow: /images/*.jpg

Если вдруг вам понадобится прописать несколько User-agent, они пишутся с пропуском одной строки.
« Последнее редактирование: 25 Июль 2019, 11:44:05 am от Eugenious »
Всем Мира и Добра!