Как проверить файл robots.txt? Правильный или не правильный?

[BORNN]

Руслан, какие есть инструменты для проверки и правильного написания файла robots.txt ?

[taub]

добавьте сайт в вебмастер яндекса. там есть такая функция, оценка роботса. А правильный проще найти по поиску, много советов же есть. чем тут ждать. опять таки, для какого движка вам роботс нужен?

[BORNN]

добавьте сайт в вебмастер яндекса. там есть такая функция, оценка роботса. А правильный проще найти по поиску, много советов же есть. чем тут ждать. опять таки, для какого движка вам роботс нужен?

Сайт в вебмастер яндекса добавлен. Для движка Опенкарт.

[taub]

ну вот же. инструменты

[BORNN]

ну вот же. инструменты

Спасибо за информацию. Какие еще есть инструменты?

[Ruslan Savchenko]

ну вот же. инструменты

Спасибо за информацию. Какие еще есть инструменты?

Кроме проверки robots.txt сервисом Яндекса, можете также проверить этот файл в инструментах Google. Вот ссылка на проверку https://www.google.com/webmasters/tools ... sting-tool.

Пользоваться другим сервисами не вижу смысла. Правильный или неправильный файл robots.txt - это довольно относительные понятия. Если в вашем файле нет запретов для роботов Гугла и Яндекса, а также присутствуют пункты:

Код: Выделить всё

Host:

и

Код: Выделить всё

Sitemap:

то robots.txt изначально правильный.

Другой вопрос, если необходимо запретить индексирование каких-то разделов вашего сайта, тогда можно указать дополнительные директивы для роботов. Но это уже на усмотрение каждого веб-мастера.

Подробнее о файле robots.txt можно почитать на сайте http://robotstxt.org.ru

[BORNN]

ну вот же. инструменты

Спасибо за информацию. Какие еще есть инструменты?

Кроме проверки robots.txt сервисом Яндекса, можете также проверить этот файл в инструментах Google. Вот ссылка на проверку https://www.google.com/webmasters/tools ... sting-tool.

Пользоваться другим сервисами не вижу смысла. Правильный или неправильный файл robots.txt - это довольно относительные понятия. Если в вашем файле нет запретов для роботов Гугла и Яндекса, а также присутствуют пункты:

Код: Выделить всё

Host:

и

Код: Выделить всё

Sitemap:

то robots.txt изначально правильный.

Другой вопрос, если необходимо запретить индексирование каких-то разделов вашего сайта, тогда можно указать дополнительные директивы для роботов. Но это уже на усмотрение каждого веб-мастера.

Подробнее о файле robots.txt можно почитать на сайте http://robotstxt.org.ru

Руслан, посоветуйте, пожалуйста, какие разделы (кроме админки) моего сайта скрыть в robotstxt от индексации?