ТЕМА:

Как убрать дубли страниц в Joomla ? Такой вопрос рано или поздно встает перед вебмастером, который всерьез занимается усовершенствованием своего сайта. Да и никому не хочется иметь перспективу, чтобы страницы его любимого чада повылетали из индекса поисковиков или даже просто нарваться на санкции от этих старших товарищей. Помыкавшись на просторах инета и прочитав гору материалов на эту тему, от правки кода в компонентах для создания ЧПУ, использования Гугл мастера, до хаков системы, решение оказалось довольно простым.

Надо просто не дать тем же поисковым системам произвольно лазить по вашему сайту, применив для этого испытанный способ запрета через существующий для этого файл robots.txt.
При включении стандартного SEF и предположим компонента sh404Sef в Joomla, получится 2 вида ссылок один оптимизированный типа :
katalogclub.ru/katalog-statey.html
и второй такой :
katalogclub.ru/index.php?option=com_mtree
Это будут два принципиально разных адреса, но которые показывают на одну и ту же страницу сайта. Нахождение поисковиком вот таких адресов может грозить вам понижением позиции или даже фильтром. Иногда компонент sh404Sef сам производит по несколько дублей страниц.
Какой же выход? Используем директиву Disallow: /index.php и все ссылки которые есть index.php не будут индексироваться.

В результате получается примером вот такой файл robots.txt для Joomla!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/*
Disallow: *html?start
Disallow: *html?task=view
Disallow: */component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid

Можете продолжить добавлять сюда все те страницы, которые вы не хотели чтобы их смотрели поисковики.

У меня дубли другого вида, с .html и без, мне помогла эта статья joyit.ru/internet-marketing/37-html-joomla.html