Yutex - Платный хостинг PHP.
Advego.ru - система покупки и продажи контента для сайтов, форумов и блогов
Последние заметки

Валидный тег noindex

Правильный тег title

Замена текста в phpMyAdmin

Защита контента от копирования

Как вставить видео на сайт

Файл sitemap.xml

Файла robots.txt 2 ч.

Файл robots.txt

Настройка phpMyAdmin 1800 секунд

Защита партнёрских ссылок

Индексация сайта. Файла robots.txt продолжение

Дата добавления: 2013-02-05

Категория: Поисковые системы

Индексация сайта. Файла robots.txt продолжение

На этой странице я начал рассказ о файле robots.txt.

Были рассмотрены общие положения о файле, а также основные, использующиеся в нём директивы: User-agent, Disallow и Allow.

На этой странице продолжим разбор файла robots.txt и рассмотрим ещё несколько директив, которые могут быть Вами использованы.

 

 

 

Директива Host

 

Начнём с директивы Host. Я уже упоминал о ней на странице Главное зеркало сайта.

Итак, директива Host используется для указания главного зеркала сайта, то есть той записи доменного имени, которое будет участвовать в поиске.

Директиву Host в файле robots.txt следует указать один раз после директив Disallow или Allow. Повторное её использование ничего не даст, так как роботы учитывают только первую инструкцию! Поэтому желательно её использовать после записи User-agent, задающей правила индексации для всех роботов:

Каталог img закрыт от индексации для всех поисковых роботов. А также для всех роботов указано главное зеркало сайта www.webpupil.ru

User-agent: *

Disallow: /img/

Host: www.webpupil.ru

Но использование директивы Host это не лучший способ указания главного зеркала сайта для поисковых систем: подробнее об это читайте на странице Главное зеркало сайта.

 

Директива Crawl-delay

 

Директива Crawl-delay указывает роботу время, которое он должен выдерживать между загрузками страниц Вашего сайта.

Инструкция Crawl-delay используется в том случае, если сервер перегружен и поисковый робот не успевает часто загружать страницы. Тогда роботу можно указать задержку в 2-3 секунды, хотя нормальной задержкой считают 1-2 секунды, которая для современных поисковых роботов установлена по умолчанию.

Тем не менее, в случае необходимости, задержку загрузки страниц можно увеличить:

Для всех поисковых роботов установлена задержка 4 секунды

User-agent: *

Disallow: /img/

Crawl-delay: 4

Директиву Crawl-delay в файле robots.txt рекомендуется указывать после директив Disallow или Allow.

Поисковый робот Yandex поддерживает дробные значения инструкции Crawl-delay: например 1,5 секунды.

 

Директива Sitemap

 

Директива Sitemap может потребоваться, если Вы используете файл sitemap.xml для описания структуры Вашего сайта, и хотите, чтобы робот узнал о нём.

Инструкцию Sitemap можно расположить в конце файла robots.txt, указав для неё путь к файлу sitemap.xml.

Если файлов sitemap.xml несколько, укажите все. Но для каждого из них должна быть установлена своя директива Sitemap.

О файле sitemap.xml и правилах его составления читайте далее...

 

Пример составления файла robots.txt, в конце которого указаны пути к файлам sitemap_1.xml и sitemap_2.xml

User-agent: Yandex

Disallow: /seo/

Allow: /seo/index.php

 

User-agent: *

Disallow: /img/

 

Sitemap: http://www.webpupil.ru/sitemap_1.xml

Sitemap: http://www.webpupil.ru/sitemap_2.xml

 

Количество просмотров: 1892


Ваши комментарии к заметке:

Комментариев нет...

Добавить Ваш комментарий:

Ваше Имя:

Текст комментария:

Решите задачу:
Реши задачу

Секреты практического SEO

На главную... Обратная связь... Наверх...