Разное

После RewriteCond должно быть RewriteRule, так как RewriteCond задает лишь условие для выполнения последущего RewriteRule.

В .htaccess воткнул

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} AhrefsBot

Через некоторое время Сервак показывает ошибку 500.
Ждал, ждал, потом удалил .htaccess - моментально все заработало

Вопрос, как банишь ботов?

Умный робот передает и реферера и куки.

Вариант различать робота от человека

getenv("HTTP_REFERER"); // получаем URL, с которого пришёл посетитель
Если getenv("HTTP_REFERER") пустое занчение, то робот

Проблема закладок, URL набранных вручную или ссылка на компе
Тогда добавить cooki, если добавляется, то человек.

.Когда банишь, куда можно отправить робота, кроме exit.

http://100nt.ru/board/index.php/topic/20004-%D0%B1%D0%BE%D1%80%D1%8C%D0%B1%D0%B0-%D1%81-ahrefsbot/
Сайт находится на не бесплатном хостинге, но все же падает от этого бота (AhrefsBot) . Достал уже флудить
Через .htaccess блокировать его айпи не получается.

У меня с утра не работает под денвером strtolower() и мне чего то надоело дурью маятся.
Остальные lcfirst() ... так же не работают.
Пойду погуляю на воздух

http://ru.wikipedia.org/wiki/Sphinx_(поисковая_система)- считается лучшей
Можно свой на на php, но скорость не та.
У меня года два валяется без дела

я много ошибок делаю сейчас при написании, извините, глаза болят, устали от монитора
Надо было написать
полнотекстовый поиск с морфологическим анализом
вместо
полноиндексный поиск с морфологическим анализом

Простите, случайно ошибся, надо отдохнуть

Как Вы намерены исправлять запросы робота? Или подстраиваться под них?

По индексированным словам и морфологической близости
Механизм простой, но рутинный, по составлению индексного файла
На самом деле много готовых , платных и бесплатных, с рекламой и без.
Можно самому написать, но сейчас не до сук, надо поднять свой и 4 штуки влить, это 1-2 недели уйдет.
А готовые, на свежую голову можно воткнуть за 1-2 дня, но и там и там отслеживать надо.

Нет, я вполне серьезно.

Вот это привлекло мое внимание:

"Какой бы дурацкий запрос из идиотских слов не дал пользователь или робот ... , система исправляла на существющие слова и давала бы вразуметельный ответ"

Как Вы намерены исправлять запросы робота? Или подстраиваться под них?

Мне почему то смешно стало. Извините. Или вы надо мной смеетесь.
Ну ведь у гугла и яндекса и у других каждый день, если вы ввели с ошибкой слова он исправляет и ищет другие.
Возможно вы имели ввиду......
Вы пошутили наверное или я чего то не понял

Очень интересная идея!

Можете раскрыть её поподробнее?