Robots.txt

Robots.txt — это обычный текстовый файл в формате txt. В нем прописывают инструкции поисковым роботам.

Эти инструкции запрещают поисковикам индексировать тот или иной файл на сайте, папку, либо документ. Таким образом, с помощью этого файла можно ограничить доступ робота к определенному содержимому сайта.

Robots.txt является стандартом исключений для поисковиков. Его приняли еще в 1994 году консорциумом W3C. На сегодняшний день им успешно пользуется большинство поисковых систем как рекомендацию к индексированию проекта во всем мире.

Для поисковой оптимизации Robots выполняет две важнейшие задачи. Первая — каждое новое сканирование сайта начинается с того, что поисковики изучают именно  этот файл и определяют, можно ли индексировать ту или иную страницу. Вторая — в файле Robots размещены все инструкции, которыми необходимо руководствоваться поисковому роботу.

Данный файл очень необходимо правильно составить: если в нем будут допущены ошибки, сайт не будет индексироваться совсем, соответственно, и трафик тоже перестанет расти. Именно по этой причине SEO-специалисты до того, как начать заниматься раскруткой сайта, проверяют, насколько корректно составлен Robots.txt.

Чтобы составить такой файл самостоятельно, используйте любой текстовый редактор:

В документе нужно указать инструкции, согласно вашим целям, и сохранить его в формате .txt. Назвать файл необходимо robots.

Этот файл – один из важных инструментов для эффективного продвижения сайта в поисковых системах. Он поможет оптимизатору влиять на включение или исключение из поисковой индексации тех или иных страниц сайта. 

Корректно составленный файл способствует экономии бюджета, а он часто ограничен.  Robots.txt упрощает работу поисковых машин, им не придется индексировать сотни ненужных страниц, это разгружает сервер, убирает из поисковой выдачи спам. И еще одно преимущество – ваш сайт боты просканируют быстро и правильно.

                                                                 ***

Вернуться на главную Энциклопедия eCommerce

Настроить интеграцию без программистов ApiX-Drive

Статьи о маркетинге, автоматизации и интеграциях в нашем Блоге