. Что такое robots.txt? | Makarou.com - когда сайты превращаются в бизнес

Что такое robots.txt?

Для того, чтобы улучшить индексацию сайта, вам стоит следовать правилам написания robots.txt, так как этот файл может значительно улучшить работу поискового бота и повысит рейтинг вашего сайта. Но вопросы «что такое robots.txt?» и «как создать robots.txt?» мучают очень многих начинающих веб-дизайнеров, больше на http://yaroslaff.su/kak-sozdat-pravilnyj-robots-txt-dlya-wordpress-i-joomla/.

Файл robots.txt – это обычный текстовый файл, который находится в корневой директиве сайта и имеет определённые инструкции для поисковых ботов. Вы можете разместить в нём рекомендации или запрет на индексацию страниц, поскольку на этот файл поисковый бот обращает внимание первым делом. И если создать robots.txt по всем правилам, то вы сможете значительно ускорить и улучшить индексацию своего сайта.

Robots.txt создаётся в обычном текстовом файле, но обязательно в формате Unix. Не пытайтесь сделать это в HTML-редакторе, так как можете изрядно напортачить. Для каждого поискового бота вы можете написать отдельный абзац инструкций, для каждой из них есть своя директива User-agent:

  • User-agent: StackRambler – если пишете для Рамблера;
  • User-agent: Yandex – если для Яндекса;
  • User-Agent: googlebot – если для Google.

Если же потребности в таком разделении у вас нет, то вы можете использовать директиву User-agent:   *.

Далее мы работаем со строкой Disallow, которая собственно и содержит инструкцию для робота. Запомните – 1 строка=1 инструкция. Количество строк неограниченно, но нельзя записывать несколько указаний в одну строку, поскольку робот просто запутается.

Вот пример правильного написания файла robots.txt:

User-agent: Yandex

Allow: /cgi-bin

Disallow: /

# запрещает скачивать все файлы на сайте, кроме страниц ‘/cgi-bin’

Если вы будете следовать этим простым правилам и правильно составите файл robots.txt, то проблемы с индексацией сайта у вас не возникнут. Этим вы значительно улучшите свой рейтинг и увеличите посещаемость сайта.

Интернет

Понравился пост? добавь его к себе в закладки:
Хочешь быть всегда в курсе обновлений блога? подписывайся через: