Форум PHP

Здравствуйте.
Сделал анализатор сайтов www.web-promoter.ru/analizator.htm
, но имеется одна проблема
когда проверяется наличие файла robots.txt
<?
if (!(@$rob = fopen ("http://www.".$url."/robots.txt", "r")))
{
echo "Возможно на сервере нет файла robots.txt, посмотрите по"?><a href="http://<? echo $url; ?>/robots.txt">ссылке.</a><? ;

}
else {
while (!feof($rob))
{ echo fgets ($rob,128).'<br>';
}
}?>
то если нет файла выдается строка
echo "Возможно на сервере нет файла robots.txt, посмотрите по"?><a href="http://<? echo $url; ?>/robots.txt">ссылке.</a><? ;

а если есть, то считывается файл до конца.
Все вроде правильно, но если файла нет и стоит переадресация, то выводит всю страницу
НАПРИМЕР bodymaster.ru
Помогиет мысями, заранее спасибо.

Переадресация имеется ввиду на удалённом сервере стоит? Можно воспользоваться сокетами для загрузки страницы - в этом случае сразу будет видно отсутствие файла по коду-ответа (он будет отличен от 200) - и можно будет не продолжать загрузку файла.