Правильный robots.txt: создание и настройка для WordPress и Joomla

Василий Блинов

С 2015 года работаю удалённо и развиваю бизнес в интернете. Создал более 20 источников дохода онлайн. Изучаю инвестирование и активно инвестирую в различные инструменты.

2 года прожил в Азии (о. Бали и о. Панган), продолжаю путешествовать по миру, помогать людям становиться финансово грамотными и улучшать своё качество жизни.

Все статьи автора
Комментариев к статье: 3
  • Павел
    20.07.2018

    Попробую Ваш вариант роботса. Для меня статья кстати. Месяца два назад появилась проблема резкого увеличения загруженных страниц в панели Яндекс Вебмастера. Проверили мой роботс, рекомендовали переписать. Выглядит совсем не так как рекоендуете.
    Понятно, что вариантов много, каждый делает как хочет.
    Еще сказали что сейчас host писать необязательно.

    Ответить
    • Alexander
      24.07.2018

      Host, быть может и не обязателен, но лишним уж точно не будет :p А насчет роботса, возможно вам нужна индивидуальная настройка. Я, вот, для своих сайтов использую расширенную версию, представленного здесь роботса. Потому как, помимо всех основных тех. разделов, мне нужно еще закрывать форум (и все профили, разделы в нем), и папки с php-ссылками.

      Ответить
  • Светлана
    05.05.2021

    Вот в этой статье автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…

    Ответить
Оставить комментарий
Ваш браузер устарел рекомендуем обновить его до последней версии
или использовать другой более современный.