Файлы .htaccess и robots.txt

Сегодня мы рассмотрим два волшебных файла - .htaccess и robots.txt, которые, в частности, помогают лучшей индексации сайта поисковыми машинами.

Коротко, что они из себя представляют, и для чего нужны.

.htaccess – в этом файле задаются дополнительные настройки, в нашем случае это будет редирект (перенаправление) с одного сайта на другой.

robots.txt – по своей сути, обычный текстовый файл, который создаётся в стандартном "Блокноте" Windows.

Роботы поисковых машин, в первую очередь, обращаются именно к нему. В этом файле прописано, какие директории сайта подлежат индексации, а какие для них табу.

Существуют определённые операторы:

Disallow: - нельзя.
Allow: - можно.

Приступим к созданию правильных .htaccess и robots.txt для CMS Джумла.

Эти два файла у нас уже скачаны, вспоминайте, мы это сделали один урок назад.

Сайт с www и без www

Для людей абсолютно всё равно, как прописан домен с приставкой www или без неё, но для поисковых роботов сайт, к примеру, www.lifekomp.ru и lifekomp.ru – это разные ресурсы. И если не сделать редирект, то статистика посещений будет отображаться некорректно.

Исправить этот момент можно в файле .htaccess (точка перед названием).

Как создать файл .htaccess

Берём наш скачанный файл "htaccess.txt" и переименовываем в ".htaccess".

Для этого открываем его в обычном блокноте или в программе настоящего вебмастера Notepad++.

Переходим в меню "Файл" и выбираем "Сохранить как".

Как создать файл .htaccess

"Имя файла" - .htaccess (с точкой).

"Тип файла" – Все файлы.

"Кодировка" – UTF-8.

"Сохранить".

Как создать файл .htaccess

Открываем вновь созданный файл .htaccess и добавляем три строчки кода:

RewriteCond %{HTTP_HOST} ^Ваш сайт.ru

RewriteRule ^(.*)$ http://www.Ваш сайт.ru/$1 [R=permanent,L]

addDefaultCharset utf-8

Вместо "Ваш сайт", прописываем свой домен.

Нажимаем "Сохранить".

Первые две отвечают за редирект сайта без www, на сайт с www. То есть, основное зеркало это "www. Наш сайт". При любом запросе нашего сайта без www, пользователь будет, незаметно для себя, попадать на "www.Наш сайт".

Третья строчка – указывает кодировку сайта, относящуюся к кириллице.

Чтобы не ошибиться в написании кода, лучше скачайте Здесь тестовый файл с этими данными и скопируйте себе.

Не забудьте поменять надпись "Ваш сайт".

Правильный файл robots.txt для сайта на Джумла

В принципе, этот файл можно посмотреть практически у любого сайта, никакой секретной информации в нём нет.

Если перейти по ссылке - http://www.lifekomp.ru/robots.txt, Вы увидите все данные, которые прописаны в этом файле для этого сайта.

Готовый шаблон можно скачать Здесь или скопировать страницу по выше приведённой ссылке. Единственное, остаётся поменять мой домен, на свой.

Коротко пройдём по существующим записям.

Файл состоит, как бы из двух частей.

В первой отображаются запреты и разрешения для всех поисковиков, кроме Яндекса.

Вторая часть, сугубо для Яндекс ботов.

По умолчанию, всё, что не запрещено в этом файле, разрешено для поисковых роботов.

Запрещаем к индексированию все наши служебные папки – administrator, cache, components и т.д.

Прописываем путь для роботов к нашей Карте сайтов.

Sitemap: http://www.mebelip.ru/index.php?option=com_osmap&view=xml&tmpl=component&id=1

Помните, в прошлом уроке, мы сохраняли ссылку на неё. Вот она нам и пригодилась.

Здесь есть один нюанс, т.к. мы запретили ботам индексировать папку components, а Карта сайта создавалась при помощи "компонента OSMap", мы пропишем разрешение для неё.

Allow: /index.php?option=com_osmap&view=xml&tmpl=component&id=1

Т.е. копируем всё, после нашего домена.

Для Яндекса прописываем дополнительный "оператор Host:" - он указывает ботам, какое зеркало является основным. Так как мы решили, что основной сайт у нас с www, и сделали в файле редирект, то делаем запись "www.Наш сайт".

Всё, сохраняем и закачиваем оба сайта на сервер. Если забыли как – открываем программу FileZila.

В правой части удаляем из корня сайта файл robots.txt и htaccess.txt.

Закачиваем новенькие, откорректированные файлы.

Правильный файл robots.txt для сайта на Джумла