Правильный файл robots.txt или нет ?

В этом разделе вы сможете получить ответ на ваш конкретный вопрос
Ответить
Владимир
Сообщения: 5
Зарегистрирован: 21 ноя 2016, 05:49

Правильный файл robots.txt или нет ?

Сообщение Владимир » 31 янв 2018, 10:06

Имею сайт Joomla 3.8 .Файл robots.txt стандартный. Захожу в SeachConsole раздел Заблокированные ресурсы и вижу 50 страниц заблокированных и каждая связана от 46 до 1 страниц.
Все страницы - либо CSS, js компонентов или плагинов сторонних, которые были поставлены в процессе жизни сайта. Встает вопрос:
1. Влияет ли это на продвижение сайта, в хелпе написано что влияет.
2. Каким образом это исправлять ? Писать в robots.txt разрешения на каждую строку ? Или просто разрешить сканировать роботу всю папку /plagins/ и /modules/ ?
Типа :
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Но тогда ниже идет:
Disallow: /modules/
Disallow: /plugins/
Будет ли это корректно
И потом, если 3-4 строки - это еще как-то, но если строк 50 ?
Или надо что-то другое делать ?
Сайт http://777avto.kiev.ua

Аватара пользователя
Ruslan Savchenko
Администратор
Сообщения: 516
Зарегистрирован: 05 ноя 2016, 18:09
Откуда: Севастополь
Контактная информация:

Re: Проблема robots.txt или нет ?

Сообщение Ruslan Savchenko » 16 апр 2018, 15:05

Владимир писал(а):
31 янв 2018, 10:06
Имею сайт Joomla 3.8 .Файл robots.txt стандартный. Захожу в SeachConsole раздел Заблокированные ресурсы и вижу 50 страниц заблокированных и каждая связана от 46 до 1 страниц.
Все страницы - либо CSS, js компонентов или плагинов сторонних, которые были поставлены в процессе жизни сайта. Встает вопрос:
1. Влияет ли это на продвижение сайта, в хелпе написано что влияет.
2. Каким образом это исправлять ? Писать в robots.txt разрешения на каждую строку ? Или просто разрешить сканировать роботу всю папку /plagins/ и /modules/ ?
Типа :
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Но тогда ниже идет:
Disallow: /modules/
Disallow: /plugins/
Будет ли это корректно
И потом, если 3-4 строки - это еще как-то, но если строк 50 ?
Или надо что-то другое делать ?
Сайт http://777avto.kiev.ua
Варианты с Allow вообще лучше не использовать. Это чаще всего не корректно работает. Лучше разрешите для индексирования эти разделы. А в роботсе желательно запрещать разделы тогда, когда робот индексирует в них «мусорные» (технические) страницы. В целом, это не очень критично, но желательно исправить, чтобы не тратить ограниченное время роботов на индексацию лишних страниц.
Подробные видео-ответы на все популярные вопросы вы найдёте в ближайших обновлениях видеокурса «Секреты практического SEO» https://ruslansavchenko.com/videokurs-SEO/

paladinrus
Сообщения: 3
Зарегистрирован: 28 сен 2017, 13:49

Re: Проблема robots.txt или нет ?

Сообщение paladinrus » 20 май 2018, 16:35

Добрый день!
Что бы не создавать новую тему, задам свой вопрос здесь.
Сайт тоже на Joomla 3.8. Что скажите по моему robots.txt все ли нормально или все плохо? Какие дадите рекомендации?
Мой robots.txt:
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/


Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Disallow: *?*
Disallow: /index.php
Disallow: /index.php?*
Disallow: /*search

Host: platintm.ru

Аватара пользователя
Ruslan Savchenko
Администратор
Сообщения: 516
Зарегистрирован: 05 ноя 2016, 18:09
Откуда: Севастополь
Контактная информация:

Re: Проблема robots.txt или нет ?

Сообщение Ruslan Savchenko » 31 май 2018, 14:45

paladinrus писал(а):
20 май 2018, 16:35
Добрый день!
Что бы не создавать новую тему, задам свой вопрос здесь.
Сайт тоже на Joomla 3.8. Что скажите по моему robots.txt все ли нормально или все плохо? Какие дадите рекомендации?
Мой robots.txt:
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/


Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Disallow: *?*
Disallow: /index.php
Disallow: /index.php?*
Disallow: /*search

Host: platintm.ru
Здравствуйте. Не бывает "плохого" или "хорошего" файла robots.txt. Для каждой CMS и для каждого вида сайта может быть свой уникальный robots.txt. Если в панели вебмастера Яндекса и Гугла в индексе находятся ТОЛЬКО нужные для вас страницы, роботы не индексируют "мусорные" и технические страницы (а потом их исключают), значит, у вас замечательный и правильный файл robots.txt.

Если же вы видите в статистике, что роботы все-таки индексируют какие-то лишние страницы на вашем сайте и тратят на них свое время, то нужно дополнить ваш robots.txt и устранить данную проблему. Вот и все мои рекомендации.
Подробные видео-ответы на все популярные вопросы вы найдёте в ближайших обновлениях видеокурса «Секреты практического SEO» https://ruslansavchenko.com/videokurs-SEO/

Ответить

Вернуться в «Раздел SEO-поддержки»