Форум PHP

дело такое...
сделал грабер
http://down.xwap.org/them/themes.php?t=1
при попытке скачать файл по ссылке перекидывает на сайт который граблю...
Но если просто копировать адресс сылки и открыть в новом окне браузера то файл нормально скачивается... собстно в чом может быть подвох?

Наверное, на том сайте проверяется реферер ... его либо не должно быть, либо он должен быть правильным.
Нужно просить пользователя пользовать "Сохранить объект как.." =)

Отсутствие реферера нечего не дает...
А вот насчет правильного вполне возможно...
Пробывал в какчестве реферера указывать их домен, домен и путь к разделу, но безуспешно...
на телефоне к сожалению нет "сохранить как"

Вполне возможно проверяется user-agent

юзер агент передаю.

Попробуйте передать заголовки Accept, Accept-Language и Accept-Charset.
Например такие:

Accept: text/xml,application/xml,application/xhtml+xml,         text/html;q=0.9,text/plain;q=0.8,video/x-mng,         image/png,image/jpeg,image/gif;q=0.2,text/css,*/*;q=0.1 Accept-Language: ru,en;q=0.9 Accept-Charset: windows-1251, utf-8, utf-16, iso-8859-1;q=0.6, *;q=0.1

Заголовок Accept надо передавать в одну строку. На несколько строк я разбил специально - чтобы не разъезжался дизайн форума.

щас передаю следующие заголов.

$headers .= "Accept: *\r\n"; $headers .="Accept-Charset: UTF-8\r\n"; $headers .= "Accept-Charset: *\r\n"; $headers .= "Accept-Encoding: deflate\r\n"; $headers .= "Accept-Language: ru\r\n"; $headers .= "Referer: wap.wab.ru/downloads/themes.php\r\n"; $headers .= "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.01\r\n\r\n";

они скорей всего ловят реферер который получают при нажатии на ссылку...
а не при сграбливании страницы.

>> Отсутствие реферера нечего не дает...
А Вы попробуйте в адресную строку вставить ссылку и перейти по ней.
>> Пробывал в качестве реферера указывать их домен
Это как? Отдельным скриптом качать файл или в качалке какой-то есть такая фича?

>>> Отсутствие реферера нечего не дает...
>А Вы попробуйте в адресную строку вставить ссылку и перейти по ней.

тогда файл нормально скачивается...

>>> Пробывал в качестве реферера указывать их домен
>Это как? Отдельным скриптом качать файл или в качалке какой-то есть такая фича?

нет, когда сграбливаю их страницу через сокет передоваю реферер.

>> нет, когда сграбливаю их страницу через сокет передоваю реферер.
Таким образом Вы достаете ссылки на файлы ... тут можно, наверное, было обойтись и без сокетов, поддельных рефереров, юзерагентов, куков и т.д. каким-нибудь file_get_contents.
А вот при скачивании файла нужен ихний реферер или его отсутствие. То есть 2 варианта: подделываем реферер и скачиваем файл на свой сервер (можно и не сохранять его в файл), отдаем пользователю ... второй - оставить так, как есть ......

>>> нет, когда сграбливаю их страницу через сокет передоваю реферер.
>Таким образом Вы достаете ссылки на файлы ... тут можно, наверное, было обойтись и без сокетов, поддельных рефереров, юзерагентов, куков и т.д. каким-нибудь file_get_contents.

если не передовать заголовок с юзер агентом opera то они выдадут wml страничку..
ее грабить очень неудобно...

>А вот при скачивании файла нужен ихний реферер или его отсутствие. То есть 2 варианта: подделываем реферер и скачиваем файл на свой сервер (можно и не сохранять его в файл), отдаем пользователю ... второй - оставить так, как есть ......

1 вариант боюсь сервер нагрузит....
второй тоже не очень нравится )

Дело точно не в реффе - на WML-страницах его, как правило, никто не передает.

Ну а в чем же еще?
Никогда в вапами не работал, но это по-моему очевидно ... тем более страницы skor не wml (я проверял не wml)

Это не очевидно. И какие страницы у него самого - это не имеет значения. К тому же wab.ru - самый посещаемый сайт рувапа. Я очень сомневаюсь, что они, во-первых, будут такой ценой защищаться от грабберов, а во-вторых, что в этом вообще плохого?
Более сказать не могу - с мобильника...

ну а каким способом еще можно определить что юзер обратился к файлу именно с моего сайта?

да не суть короче...
дело точно не в браузере...

его можно поймать картинкой....

тут щас обнаружил интересное свойство...
если переключится на wml версию то все скачивается отлично...
если же включена html то возникает такой вот глюк....
у кого какие мысли?

Хм, я сразу это заметил, поэтому с такой уверенностью и говорил про реферер.
Unkind заметил, что "на WML-страницах его, как правило, никто не передает", думаю, по-этому и работает. (">>его либо не должно быть, либо он должен быть правильным")