Разбираю файл robots.txt

robots.txt

Иногда создается впечатление, что обычному блоггеру, чтобы пробиться в поисковиках, просто невозможно себя реализовать. Помимо постоянного обновления контента,  который должен быть не только интересным, нужным и уникальным. Нужны всякие оптимизированные и уникальные картинки. А еще правильно прописать файл robots. О нем я сегодня и расскажу вам.

Совсем недавно я выиграла конкурс,на самого активного комментатора, где приз был анализ блога. К сожалению, я о нем узнала поздновато  так как февраля  были трудности с выходом к блогу, постоянные мои читатели знают почему:). Так вот главный приз я не получила., но в честь 14 февраля организатор конкурса, сделал подарок всем комментаторам  независимо от количество комментарий  она пообещала сделать этот самый анализ. И вот буквально вчера я получила свой анализ. Про это я опишу в следующий раз, о своих ощущениях. Сейчас хочу остановиться на ее совете. Дело в том что  этим поисковикам не нравятся внешние ссылки с блога, и которые нужно закрыть этим самым robots. файлом. Но прежде чем это делать, я решила разобраться что за что отвечает:)
Мой файл выглядит так::

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://studying-blogin.blogspot.com/feeds/posts/default?orderby=UPDATED


И насколько я понимаю он стандартный, с заложенным разрешением на индексацию тех или иных файлов

В Азбука блоггера предлагают заменить на такой: Значение

User-agent: Mediapartners-Google 
Disallow:
User-agent: * 
Disallow: /search 
Disallow: /p/search.html 
Allow: /
Sitemap: http://rukotvorie.blogspot.ru/feeds/posts/default?orderby=updated (это адрес вашей карты для поисковиков)
User-agent: Yandex 
Disallow: /search 
Disallow: /p/search.html 
Allow: /

Предлагаю разобраться что означает, верней как поняла лично я, если кто то  заменит ошибки в объяснении можете оставить замечания я их исправлю, чтобы не вводить в заблуждение читателей.

User-agent:-сюда вписывают название работов (их имена можно узнать на Вебмастере Яндексе так и Google, можно поставить знак снежинку *, и это будет обозначать для всех роботов)

Disallow:  в эту строчку вписывают частичный или полный путь URL, который не будет посещен 

Allow: Данная строчка разрешает только индексировать определенные файлы.

Значение символов
* -означает любой
/ - означает запрет

Вообщем пока установлю предложенный файл, посмотрим результат:), и буду дальше разбираться, что за чем.

В заключение  картинка куда занести файл robots для blogger

Пожалуйста не забывайте поделиться