Разное

Здравствуйте.
Подскажите пожалуйста, если кто что-то знает об таком факте

1. Вот уже две недели заходят кучкой до 20 msnbot и начинают каждую сегунду дубасить сайт
Сегодня меня отключил хостер, сказав что ваш сайт атакуют
Я посмотрел, а там msnbot и много как то кишит ими.

2 Странность вторая. Начинают в строке GET на всех кодировках запросы направлять. От этого нагрузка взлетела еще больше. Спрашивается зачем перебирать в строке по всем страницам все кодировки

3. Сколько же у Микрософт ботов?

Конечно хостер запаниковал, но сайт нормально работал. В некотором смысле они протестировали сайт (msnbot).
Я забанил msnbot, а надо как то иначе, но как

Подскажите, если кто знает о таких неприятностях и как поступить лучше

не в тему, но ваш хостинг не может выдержать одновременно 20 коннектов? =\ Это оооооооочень мало. И называть это атакой это просто "беда" №(

Извините пожалуйста, я не понял
1. В какое место в тему, подскажите пожалуйста
2. Что за двадцать коннектов (дальше крючки и загагулины у вас) одновременно, я о таком не писал, я писал совсем другое.
3. Атакой назвал это хостер и отключил. У него свои методы замера, свои критерии, свое понимание. СТоило им сказать, что это не атака, а бот и они сразу включили

У меня примерно 500 000 страниц.
Иногда и Гугл делает в секунду до 5-10 запросов на сайт, но у него можно регулировать темп обхода сайта на странице веб мастера.К тому же он один, а тут их как блох у Микрософта.

Как же поступить, если Хостер при каждом таком поведении ботов отключает сайт
В личном разговоре они признают, что и Яндекс так делает и другие, но Хостер не анализирует и пугается, что атака и отключает.

Я имею ввиду, что столько запросов в секунду это мало. И надо уходить от такого хостера, который выключает сайт из-за этого.

P.S.
http://www.bing.com/community/site_blogs/b/webmaster/archive/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot.aspx

User-agent: msnbot Crawl-delay: 1

Где 1 это медленно индексировать, если его заменить на 5, то будет очень медленно, 10 оооооочень медленно.

Если это дерективы нет, скорость нормальная.

Это надо писать в файле /robots.txt

На практике моей и других очень часто боты игнорируют это, особенно msnbot.

Про хостера - согласен. Но куда уходить. Надо самому ставить.
Только вот беда, сейчас все бросить и буду хождениями заниматься, хождениями по новым мукам? Я сненил нескольких, у каждого свое слабое место.
Ну посоветуйте хороших, в инете есть советчики, чем выше гордыня, тем больше вранья и меньше истины