Форум Apache

Обе

ту которую нужно роботам :)
Они просто клиенты, и адреса для них как для браузеров, только любопытные бывают заразы ,) в каждую щель пролазиют

И обычно то что по index.html открывается реврайтом index.php не мешает так-же открыть просто набрав index.php

Если через mod_rewrite изменен урл с index.php например на index.html, какую страницу закрывать в robots.txt, с .html или с .php ?
Спасибо.