robots

Привет, друзья и новые посетители моего сайта.
Меня выбило из колеи по работе с контентом и даже кое-кто писал в комментариях, что нужно работать ведь сайт, это инструмент нашей работы.
Все достаточно просто я изучал вопросы продвижения и правильной оптимизации своего сайта.
Малость разобрался с оптимизацией, скажу одно подгоняйте картинки правильно, они утяжеляют работу сайта. На тему картинок моя статья.
Исправил коды сайта, работа с кое-какими еще в действии. Вот так и работаем с самого начала все было просто, а по истечении некоторого времени оказалось маловато знаний и приходится учиться.

Сегодня я хочу поделиться с вами своими результатами по созданию правильного robots.txt, для wordpress.
Информации перелопатил много, и провел некие пробы. Результат один правильный robots.txt по моему мнению и практике может иметь парочку вариантов.
Да скажу одно я пишу то, что проверил сам и о всех функциях и значениях писать не собираюсь. Кто хочет понять все значения и символы найдет сам в Гоше.
User-agent:*-------- показываем кто из поисковиков имеет доступ.
User-agent:Yandex или User-agent: Googlebot.
В строчке указанной выше определите под какую поисковую систему вы подгоняете сайт. Или можно менять периодически?
В моем случаи, львиная часть открыта, робот зайдет куда пожелает и все равно просмотрит все. В моем роботе минимум запретов я ему запрещаю ходить по ссылкам (feed, RSS фид блога), ("?, страницы поиска). Да пропишите ваш файл Sitemap, он показывает файл карты сайта. Если их парочка укажите все.
Если вы сомневаетесь все легко проверить. Просто после доменного имени ставите флэш и пишите robots.txt нажимаете Enter и вам покажет интересующий файл.
Я свой робот вам выложу, а вы решайте сами.
Два других, тоже в данное время актуальны и работают у довольно продвинутых и авторитетных людей.

Пример моего robots.txt:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: tetatetplus.ru
Sitemap: http://tetatetplus.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Два следующих примера:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: tetatetplus.ru
Sitemap: http://tetatetplus.ru/sitemap.xml

Он тоже в теме:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
User-agent: *
Crawl-delay: 15
Host: tetatetplus.ru
Sitemap: http://tetatetplus.ru/sitemap.xm

Вот вы и получили несколько правильных схем для файла robots.txt, они работают. Осталось малое ваш выбор.

В данных файлах вам нужно изменить только ссылку на сайт под свое имя домена.

Да стать не супер, но информация полезная и достоверная......

Удачи вам дорогие друзья.

Думаю это информация вам была полезна, оставьте, пожалуйста, свой комментарий.
Если у вас возникнут вопросы, со мной можно связаться по обратной связи или:

 

Мой SKYPE--pol007dpavel--globus
Моя почта @ poldv007@mail.ru

Вам понравилась статья, поделитесь с друзьями.

Люблю новые знакомства, Давайте дружить.

3 комментария: Правильный файл robots.txt для wordpres

  • pol говорит:

    Я спорить не буду, возможно статья и бездарная, но я собрал целую колекция разных robots.txt.  Ходил по сайтам и просто смотрел, анализировал, что используют ЗНАЮЩИЕ люди. Проверить просто домен/robots.txt и все на яву. Я указал самые нормальные варианты на то время и сам их тестировал. Политика поисков меняется  за всем не уследишь вовремя.

    Многие затачивают свой robots под определенные поисковые машины и т. д., тема огромная и все проверяется методом проб и ошибок  :whistle:

  • pol говорит:

    Михаил Вы известнычй человек в своих кругах,  а это значит, что есть опыт и Вы можете поделиться полезной информайией с новичками и уже бывалыми.  Предлагаю провести интервью по теме создания сайта, где Вы раскажите и поделитесь своим опытом. 

  • Фандас Гарипов говорит:

    В начале статьи походя было сказано, что медиафайлы утяжеляют сайт.

    Я у себя практикую уменьшение изображения до ширины 250-300рх

    перед загрузкой (высота обычно меньше). И никаких мегабайтов.

    Делается просто, на моем сайте есть коротенькая статья на эту тему.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

:bye:  :good:  :negative:  :scratch:  :wacko:  :yahoo:  B-)  :heart:  :rose:  :-)  :yes:  :cry:  :mail:  :whistle:  :unsure: 
:-(  ;-) 
 
Подарок

odnostranicnuj-sayt

sobstvennaya-rassulka
Ваш хостинг
Хостинг ХостиЯ
Мой Канал
pol youtube
Я в Google +
”google”
Пассив !