городской портал
Нижнего Новгорода
vkolce бесплатно | сотрудничество | помощь | размещение рекламы


логин:
пароль:
вход регистрация
VKOLCE |форум|новости|люди|афиша|группы
главная     новости     форум     знания     люди     о группе
Список форумов группы  »  Помогите составить robots.txt 4
PaXaN 1 Ноября 2008 в 17:13:11
 

Вообщем цель - сказать гуглю и яндексу, что мол гости дорогие приходите не чаще 1 раза в день. А таким тухлым (в плане трафика) поисковикам, как msn и yahoo сказать чтобы не приходили :)

Актуально для некоторых проектов.. а то что-то боты трафик поедают, который стал платный у нас...

Может кто подсказать или ссылки м.б. дать полезные? А то вот в этом я че-то ламер)
new
PaXaN 5 Ноября 2008 в 14:30:55
 

Кстати, уже разобрался..

Насколько я понял, чтобы сайт мучали только поисковики: яндекс, гугла, рамблер и апорт, а другие нет, то надо сделать так:

User-agent: StackRambler Googlebot Yandex aport
Disallow:
Crawil-delay: 10

User-agent: *
Disallow: /


Есть ли у этого способа какие-то побочные эффекты?..
new
Volgarik 5 Ноября 2008 в 14:50:49
 

а ты попробуй расскажешь)))
я бы не стал рисковать
лучше просто запрети поисковики которые не нужны.
Отредактировано Volgarik
new
tsav8 15 Марта 2010 в 11:08:24
 

Составить robots.txt и Sitemap.xml поможет сервис http://htmlweb.ru/analiz/sitemap.php
new
Чтобы оставлять свои комментарии, Вам необходимо стать членом группы.