Forum@HOST

SEO и реклама => Продвижение сайта в поисковых системах => Тема начата: Eugenious от 08 Июля 2019, 16:56:34 pm

Название: Немного о robots.txt
Отправлено: Eugenious от 08 Июля 2019, 16:56:34 pm
Robots.txt отвечает за индексацию страниц вашего сайта.
Состоит из ограниченного количества команд, которые запомнить довольно легко:
User-agent: - К какому поисковику применять правила индексирования. Имеет параметры * - все поисковики, Yandex – для Яндекса, Googlebot – для Гугла (есть еще роботы, если понадобятся, можете найти их в интернете).
Allow: - разрешает поисковикам индексировать указанные директории типа /images/*.jpg
Diallow: - противоположность Allow:

Пример:
User-agent: Googlebot
Allow: /images/*.jpg
Disallow: /images/*.gif
Мы дали разрешение Google индексировать в папке images изображения формата jpg и запретили формат gif. * - означает «все»

Пример:
#неправильно
User-agent: *
Allow: /images/*.jpg
User-agent: *
Allow: /images/*.jpg
 
#правильно
User-agent: *
Allow: /images/*.jpg

User-agent: *
Allow: /images/*.jpg

Если вдруг вам понадобится прописать несколько User-agent, они пишутся с пропуском одной строки.