Игры с выводом денег
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Бинарные опционы
Введение
Webmoney
Wmmail
Полезные статьи
Всё о социальных сетях
Создание сайта
Счетчики
               

Важность файла robots.txt
10.01.2013

Все мы знаем о том, что каждый сайт систематически посещается роботами поисковых систем и тем самым индексируется его содержимое, после чего добавляется в поисковую выдачу.

С целью правильного направления действий, этого автоматизированного бота, в корневом каталоге вашей площадки, должен присутствовать файл robots.txt. Посредством данного файла, вы можете манипулировать деятельностью поискового робота, закрывая и открывая некоторые категории своего сайта.

файл robots.txt

Файл robots.txt

 
Исходя из этого, вы должны понимать важность файла robots.txt, ведь если его не настроить, ваш сайт может плохо индексироваться, а в поисковую выдачу систематически будет добавляться дублированный контент, что может привести к попаданию под фильтры.

Чтобы избежать такой ситуации, уделите немного времени на создание и редактирование robots.txt, поверьте, это займет минимум времени и принесет максимум эффективности.

Для начала проверьте правильность названия этого файла, который должен заканчиваться на букву s и не должен содержать заглавных букв, в противном случае можете считать, что этого файла у вас просто нет.

Каждый сайт имеет массу директорий, которые содержат различный контент, и вы должны знать, в какой директории, что находится. Довольно часто, при использовании различных CMS, появляется дублированный контент, так вот, чтобы он не попадал под внимание поисковых систем, закройте его от индексации.

важность файла robots.txt

Сделать это не сложно, достаточно добавить строку Disallow: /simple/, где simple – это название категории, необходимой для закрытия. Если вам необходимо закрыть категорию, но открыть внутри неё некоторые страницы, можно сочетать значения Disallow и allow, которые указывают на закрытость или открытость страниц.

Например:
Allow: /simple/images
Disallow: /simple

Таким образом, вы запретите индексировать категорию simple, но разрешите индексировать подкатегорию images, страницы которой попадут в поисковую выдачу. Если вы укажите в Disallow и allow одинаковые значения, категория будет индексироваться.

в поисковую выдачу

Если у вас довольно крупный проект, и вы уже используете sitemap, для более удобного индексирования вашего проекта, обязательно укажите на место его расположения в файле robots.txt. Делается это посредством вставки вот такого кода:

Allow: /
Sitemap: http://ваш_сайт/директория/карта_сайта.xml

Помимо этого, существует ещё множество тонкостей создания файла robot.txt, таких как использование символа #, позволяющего изменять значение Disallow и allow, прописывая в виде Disallow: #, что означает, открытую индексацию страницы.

Использование символов * и $, позволяющие закрывать определенные последовательности символов. А так же директивы Clean-param и Crawl-delay, посредствам которых вы сможете снизить нагрузку на сервер, а так же с легкостью закроете от индексации, некоторые страницы сайта.

Советую посетить следующие страницы:
- 10 популярных ошибок начинающих вебмастеров
- Дизайн web сайта
- Заработок в интернете на продажи номеров ICQ

Рубрика: Создание сайта
Бинарные опционы
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Регистрация
Обзор
Видео
Способы заработка
Рубрики
Заработай с нами