Правильный robots.txt: создание и настройка для WordPress и Joomla

Василий Блинов

С 2015 года работаю удалённо и развиваю бизнес в интернете. Создал более 20 источников дохода онлайн. Изучаю инвестирование и активно инвестирую в различные инструменты.

2 года прожил в Азии (о. Бали и о. Панган), продолжаю путешествовать по миру, помогать людям становиться финансово грамотными и улучшать своё качество жизни.

Все статьи автора
Комментариев к статье: 3
  • Светлана
    04.04.2024

    Вот в этой статье автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…

    Ответить
  • Павел
    04.04.2024

    Попробую Ваш вариант роботса. Для меня статья кстати. Месяца два назад появилась проблема резкого увеличения загруженных страниц в панели Яндекс Вебмастера. Проверили мой роботс, рекомендовали переписать. Выглядит совсем не так как рекоендуете.
    Понятно, что вариантов много, каждый делает как хочет.
    Еще сказали что сейчас host писать необязательно.

    Ответить
    • Alexander
      11.05.2024

      Host, быть может и не обязателен, но лишним уж точно не будет :p А насчет роботса, возможно вам нужна индивидуальная настройка. Я, вот, для своих сайтов использую расширенную версию, представленного здесь роботса. Потому как, помимо всех основных тех. разделов, мне нужно еще закрывать форум (и все профили, разделы в нем), и папки с php-ссылками.

      Ответить
Оставить комментарий
Ваш браузер устарел рекомендуем обновить его до последней версии
или использовать другой более современный.