В этой статье пойдёт речь о том, как правильно составить robots.txt для uCoz. Правильный robots.txt это один из благоприятных факторов раскрутки вашего сайта, без него Ваш сайт с лёгкостью угодит под фильтр поисковых систем.
Перейдём непосредственно к объяснению robots.txt и его составлению:
Что такое robots.txt - это файл указывающий ботам (роботам) поисковых систем: что индексировать, а что не индексировать, где находится sitemap файл и т.п.
Как составить robots.txt для uCoz: 1) Указываем, что все роботы могут индексировать сайт User-agent: *
2) Закрываем страницы которые роботу не нужно индексировать директивой "Disallow". Какие страницы необходимо закрыть от индексации определяем сами - нужно чтоб дублированного контента было как можно меньше. Именно поэтому мы закрываем от индексации такие директивы как "informer", "tags" и т.п.. В итоге у нас получается: Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat/ Disallow: /search/
3) Указываем поисковым системам где карта сайта: http://ваш-сат.ucoz.ru/sitemap.xml
4) Прописываем дополнительную информацию для поисковой системы "Яндекс", такую как основное зеркало сайта: User-agent: Yandex Host: ваш-сайт.ucoz.ru
Вот мы и составили правильный robots.txt для uCoz сайта.
Добавлять комментарии могут только зарегистрированные пользователи. [ Регистрация | Вход ]
Мини профиль
Пятница 03.05.2024
Полезный софт
Статистика
Зарег. на сайте Всего: 24 Новых за месяц: 0 Новых за неделю: 0 Новых вчера: 0 Новых сегодня: 0 Из них Администраторов: 2 Модераторов: 1 Проверенных: 2 Обычных юзеров: 14 Из них Парней: 21 Девушек: 3
