Как проверить файл robots.txt? Правильный или не правильный?
Как проверить файл robots.txt? Правильный или не правильный?
Руслан, какие есть инструменты для проверки и правильного написания файла robots.txt ?
Re: robots.txt
добавьте сайт в вебмастер яндекса. там есть такая функция, оценка роботса. А правильный проще найти по поиску, много советов же есть. чем тут ждать. опять таки, для какого движка вам роботс нужен?
Re: robots.txt
Сайт в вебмастер яндекса добавлен. Для движка Опенкарт.taub писал(а):добавьте сайт в вебмастер яндекса. там есть такая функция, оценка роботса. А правильный проще найти по поиску, много советов же есть. чем тут ждать. опять таки, для какого движка вам роботс нужен?
Re: robots.txt
ну вот же. инструменты
Re: robots.txt
Спасибо за информацию. Какие еще есть инструменты?taub писал(а):
ну вот же. инструменты
- Ruslan Savchenko
- Администратор
- Сообщения: 516
- Зарегистрирован: 05 ноя 2016, 18:09
- Откуда: Севастополь
- Контактная информация:
Re: robots.txt
Кроме проверки robots.txt сервисом Яндекса, можете также проверить этот файл в инструментах Google. Вот ссылка на проверку https://www.google.com/webmasters/tools ... sting-tool.BORNN писал(а):Спасибо за информацию. Какие еще есть инструменты?taub писал(а):
ну вот же. инструменты
Пользоваться другим сервисами не вижу смысла. Правильный или неправильный файл robots.txt - это довольно относительные понятия. Если в вашем файле нет запретов для роботов Гугла и Яндекса, а также присутствуют пункты:
Код: Выделить всё
Host:
Код: Выделить всё
Sitemap:
то robots.txt изначально правильный.
Другой вопрос, если необходимо запретить индексирование каких-то разделов вашего сайта, тогда можно указать дополнительные директивы для роботов. Но это уже на усмотрение каждого веб-мастера.
Подробнее о файле robots.txt можно почитать на сайте http://robotstxt.org.ru
Подробные видео-ответы на все популярные вопросы вы найдёте в ближайших обновлениях видеокурса «Секреты практического SEO» https://ruslansavchenko.com/videokurs-SEO/
Re: robots.txt
Руслан, посоветуйте, пожалуйста, какие разделы (кроме админки) моего сайта скрыть в robotstxt от индексации?Ruslan Savchenko писал(а):Кроме проверки robots.txt сервисом Яндекса, можете также проверить этот файл в инструментах Google. Вот ссылка на проверку https://www.google.com/webmasters/tools ... sting-tool.BORNN писал(а):Спасибо за информацию. Какие еще есть инструменты?taub писал(а):
ну вот же. инструменты
Пользоваться другим сервисами не вижу смысла. Правильный или неправильный файл robots.txt - это довольно относительные понятия. Если в вашем файле нет запретов для роботов Гугла и Яндекса, а также присутствуют пункты:
иКод: Выделить всё
Host:
Код: Выделить всё
Sitemap:
то robots.txt изначально правильный.
Другой вопрос, если необходимо запретить индексирование каких-то разделов вашего сайта, тогда можно указать дополнительные директивы для роботов. Но это уже на усмотрение каждого веб-мастера.
Подробнее о файле robots.txt можно почитать на сайте http://robotstxt.org.ru