robots.txt для joomla 2.5, joomla 3.0

При добавлении сайта в панель вебмастера для последующей его индексации необходимо прописать какие файлы поисковая система может видеть а какие нет. Для этого в корне сайта должен присутствовать файл robots.txt. Для правильной индексации сайта мы рекомендуем использовать такой синтаксис:

 

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Allow: /components/*.png$
Allow: /components/*.jpg$
Allow: /images/*.png$
Allow: /images/*.jpg$
Allow: /modules/*.png$
Allow: /modules/*.jpg$
Allow: /templates/*.css$
Allow: /templates/*.js$
Allow: /templates/*.png$
Allow: /templates/*.gif$
Allow: /templates/*.jpg$
Allow: /templates/*.jpeg$
Allow: /templates/*.ttf$
Allow: /templates/*.eot$
Allow: /templates/*.svg$
Allow: /templates/*.woff$
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /media/*.png$
Allow: /media/*.gif$
Allow: /media/*.jpg$
Allow: /media/*.jpeg$
Allow: /media/*.ttf$
Allow: /media/*.eot$
Allow: /media/*.svg$
Allow: /media/*.woff$
Sitemap: ссылка на карту сайта
Host: основное заркало сайта

Как Вы видите в этом файле разрешена индексация статических файлов. Это сделано для того чтобы в мобильной версии сайта правильно отображалась структура, стили и изображения при анализе Вашего сайта поисковой системой.

Программирование: (050) 960-91-06, (096) 631-57-80,

Skype: valerapavlov85

Продвижение / Маркетинг/ Организационные вопросы: (066) 761-93-63

Skype: prepodprepod