Правильный файл robots.txt или нет ?

[Владимир]

Имею сайт Joomla 3.8 .Файл robots.txt стандартный. Захожу в SeachConsole раздел Заблокированные ресурсы и вижу 50 страниц заблокированных и каждая связана от 46 до 1 страниц.
Все страницы - либо CSS, js компонентов или плагинов сторонних, которые были поставлены в процессе жизни сайта. Встает вопрос:
1. Влияет ли это на продвижение сайта, в хелпе написано что влияет.
2. Каким образом это исправлять ? Писать в robots.txt разрешения на каждую строку ? Или просто разрешить сканировать роботу всю папку /plagins/ и /modules/ ?
Типа :
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Но тогда ниже идет:
Disallow: /modules/
Disallow: /plugins/
Будет ли это корректно
И потом, если 3-4 строки - это еще как-то, но если строк 50 ?
Или надо что-то другое делать ?
Сайт http://777avto.kiev.ua

[Ruslan Savchenko]

Имею сайт Joomla 3.8 .Файл robots.txt стандартный. Захожу в SeachConsole раздел Заблокированные ресурсы и вижу 50 страниц заблокированных и каждая связана от 46 до 1 страниц.
Все страницы - либо CSS, js компонентов или плагинов сторонних, которые были поставлены в процессе жизни сайта. Встает вопрос:
1. Влияет ли это на продвижение сайта, в хелпе написано что влияет.
2. Каким образом это исправлять ? Писать в robots.txt разрешения на каждую строку ? Или просто разрешить сканировать роботу всю папку /plagins/ и /modules/ ?
Типа :
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Но тогда ниже идет:
Disallow: /modules/
Disallow: /plugins/
Будет ли это корректно
И потом, если 3-4 строки - это еще как-то, но если строк 50 ?
Или надо что-то другое делать ?
Сайт http://777avto.kiev.ua

Варианты с Allow вообще лучше не использовать. Это чаще всего не корректно работает. Лучше разрешите для индексирования эти разделы. А в роботсе желательно запрещать разделы тогда, когда робот индексирует в них «мусорные» (технические) страницы. В целом, это не очень критично, но желательно исправить, чтобы не тратить ограниченное время роботов на индексацию лишних страниц.

[paladinrus]

Добрый день!
Что бы не создавать новую тему, задам свой вопрос здесь.
Сайт тоже на Joomla 3.8. Что скажите по моему robots.txt все ли нормально или все плохо? Какие дадите рекомендации?
Мой robots.txt:
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/


Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Disallow: *?*
Disallow: /index.php
Disallow: /index.php?*
Disallow: /*search

Host: platintm.ru

[Ruslan Savchenko]

Добрый день!
Что бы не создавать новую тему, задам свой вопрос здесь.
Сайт тоже на Joomla 3.8. Что скажите по моему robots.txt все ли нормально или все плохо? Какие дадите рекомендации?
Мой robots.txt:
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/


Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Disallow: *?*
Disallow: /index.php
Disallow: /index.php?*
Disallow: /*search

Host: platintm.ru

Здравствуйте. Не бывает "плохого" или "хорошего" файла robots.txt. Для каждой CMS и для каждого вида сайта может быть свой уникальный robots.txt. Если в панели вебмастера Яндекса и Гугла в индексе находятся ТОЛЬКО нужные для вас страницы, роботы не индексируют "мусорные" и технические страницы (а потом их исключают), значит, у вас замечательный и правильный файл robots.txt.

Если же вы видите в статистике, что роботы все-таки индексируют какие-то лишние страницы на вашем сайте и тратят на них свое время, то нужно дополнить ваш robots.txt и устранить данную проблему. Вот и все мои рекомендации.