Robots.txt
Robots.txt — это обычный текстовый файл в формате txt. В нем прописывают инструкции поисковым роботам.
Эти инструкции запрещают поисковикам индексировать тот или иной файл на сайте, папку, либо документ. Таким образом, с помощью этого файла можно ограничить доступ робота к определенному содержимому сайта.
Robots.txt является стандартом исключений для поисковиков. Его приняли еще в 1994 году консорциумом W3C. На сегодняшний день им успешно пользуется большинство поисковых систем как рекомендацию к индексированию проекта во всем мире.
Для поисковой оптимизации Robots выполняет две важнейшие задачи. Первая — каждое новое сканирование сайта начинается с того, что поисковики изучают именно этот файл и определяют, можно ли индексировать ту или иную страницу. Вторая — в файле Robots размещены все инструкции, которыми необходимо руководствоваться поисковому роботу.
Данный файл очень необходимо правильно составить: если в нем будут допущены ошибки, сайт не будет индексироваться совсем, соответственно, и трафик тоже перестанет расти. Именно по этой причине SEO-специалисты до того, как начать заниматься раскруткой сайта, проверяют, насколько корректно составлен Robots.txt.
Создание файла robots.txt вручную
Чтобы составить такой файл самостоятельно, используйте любой текстовый редактор:
- Microsoft Word;
- Блокнот;
- NotePad;
- Open Office и т. д.
В документе нужно указать инструкции, согласно вашим целям, и сохранить его в формате .txt. Назвать файл необходимо robots.
- Автоматизируйте работу интернет магазина или лендинга
- Расширяйте возможности за счет интеграций
- Не тратьте деньги на программистов и интеграторов
- Экономьте время за счет автоматизации рутинных задач
Этот файл – один из важных инструментов для эффективного продвижения сайта в поисковых системах. Он поможет оптимизатору влиять на включение или исключение из поисковой индексации тех или иных страниц сайта.
Корректно составленный файл способствует экономии бюджета, а он часто ограничен. Robots.txt упрощает работу поисковых машин, им не придется индексировать сотни ненужных страниц, это разгружает сервер, убирает из поисковой выдачи спам. И еще одно преимущество – ваш сайт боты просканируют быстро и правильно.
***
Вернуться на главную Энциклопедия eCommerce
Настроить интеграцию без программистов ApiX-Drive
Статьи о маркетинге, автоматизации и интеграциях в нашем Блоге