| |
|
|
| | Усли у кого ещё есть то вылаживайте
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Jyxobot/1
Yandex/1.01.001 (compatible; Win16; I)
Yandex/1.01.001 (compatible; Win16; P)
IRLbot/2.0 (+http://irl.cs.tamu.edu/crawler)
psbot/0.1 (+http://www.picsearch.com/bot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Googlebot/2.1 (+http://www.google.com/bot.html)
Mediapartners-Google/2.1
uaportalbot
BigmirSpider
TurtleScanner/1.4 (compatible; Win16; S)
А что это: (инфа с юзерагента робота)
ia_archiver | |
| |
|
