robots

Привет, друзья и новые посетители моего сайта.
Меня выбило из колеи по работе с контентом и даже кое-кто писал в комментариях, что нужно работать ведь сайт, это инструмент нашей работы.
Все достаточно просто я изучал вопросы продвижения и правильной оптимизации своего сайта.
Малость разобрался с оптимизацией, скажу одно подгоняйте картинки правильно, они утяжеляют работу сайта. На тему картинок моя статья.
Исправил коды сайта, работа с кое-какими еще в действии. Вот так и работаем с самого начала все было просто, а по истечении некоторого времени оказалось маловато знаний и приходится учиться.

Сегодня я хочу поделиться с вами своими результатами по созданию правильного robots.txt, для wordpress.
Информации перелопатил много, и провел некие пробы. Результат один правильный robots.txt по моему мнению и практике может иметь парочку вариантов.
Да скажу одно я пишу то, что проверил сам и о всех функциях и значениях писать не собираюсь. Кто хочет понять все значения и символы найдет сам в Гоше.
User-agent:*-------- показываем кто из поисковиков имеет доступ.
User-agent:Yandex или User-agent: Googlebot.
В строчке указанной выше определите под какую поисковую систему вы подгоняете сайт. Или можно менять периодически?
В моем случаи, львиная часть открыта, робот зайдет куда пожелает и все равно просмотрит все. В моем роботе минимум запретов я ему запрещаю ходить по ссылкам (feed, RSS фид блога), ("?, страницы поиска). Да пропишите ваш файл Sitemap, он показывает файл карты сайта. Если их парочка укажите все.
Если вы сомневаетесь все легко проверить. Просто после доменного имени ставите флэш и пишите robots.txt нажимаете Enter и вам покажет интересующий файл.
Я свой робот вам выложу, а вы решайте сами.
Два других, тоже в данное время актуальны и работают у довольно продвинутых и авторитетных людей.

Пример моего robots.txt:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: tetatetplus.ru
Sitemap: https://tetatetplus.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Два следующих примера:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: tetatetplus.ru
Sitemap: https://tetatetplus.ru/sitemap.xml

Он тоже в теме:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
User-agent: *
Crawl-delay: 15
Host: tetatetplus.ru
Sitemap: https://tetatetplus.ru/sitemap.xm

Вот вы и получили несколько правильных схем для файла robots.txt, они работают. Осталось малое ваш выбор.

В данных файлах вам нужно изменить только ссылку на сайт под свое имя домена.

Да стать не супер, но информация полезная и достоверная......

Удачи вам дорогие друзья.

Думаю это информация вам была полезна, оставьте, пожалуйста, свой комментарий.
Если у вас возникнут вопросы, со мной можно связаться по обратной связи или:

 

Мой SKYPE--pol007dpavel--globus
Моя почта @ poldv007@mail.ru

Привет, Друг. Поделись постом!!!

Давайте дружить!!!

5 комментариев на «Правильный файл robots.txt для wordpres»

  • Михаил говорит:

    Роботу фиолетово, что написано в robots!!!!!!!!!!

    Первый вариант соответствует истине, а все, что ниже — полная чушь, обычная безграмотность. Нельзя такие вещи выкладывать — кто-то повторит и получит кучу ошибок. Читай ЗДЕСЬ http://nevcomer.ru/sozdanie-sajtov/dubli-stranic-na-sajte-wordpress.html

  • pol говорит:

    Я спорить не буду, возможно статья и бездарная, но я собрал целую колекция разных robots.txt.  Ходил по сайтам и просто смотрел, анализировал, что используют ЗНАЮЩИЕ люди. Проверить просто домен/robots.txt и все на яву. Я указал самые нормальные варианты на то время и сам их тестировал. Политика поисков меняется  за всем не уследишь вовремя.

    Многие затачивают свой robots под определенные поисковые машины и т. д., тема огромная и все проверяется методом проб и ошибок  :whistle:

  • pol говорит:

    Михаил Вы известнычй человек в своих кругах,  а это значит, что есть опыт и Вы можете поделиться полезной информайией с новичками и уже бывалыми.  Предлагаю провести интервью по теме создания сайта, где Вы раскажите и поделитесь своим опытом. 

  • Фандас Гарипов говорит:

    В начале статьи походя было сказано, что медиафайлы утяжеляют сайт.

    Я у себя практикую уменьшение изображения до ширины 250-300рх

    перед загрузкой (высота обычно меньше). И никаких мегабайтов.

    Делается просто, на моем сайте есть коротенькая статья на эту тему.

  • Дмитрий говорит:

    Ответ господину Преснецову, не далее как сам не так давно предлагал неправильные роботы, теперь поумнел когда подсказали, а статья получилась нормальная отличная, добро пожаловать на мой сайт и приятно познакомится Павел.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Подарок
Я в Google +
Мой Канал
Школа Кайлас