скачать главную, выделить все ссылки на внутренние страницы, занести их в базу, затемпо циклически, помечая отработанные ссылки, скачать все стрнаницы по данным ссылкам, выделить в них все ссылки, занести в базу. Затем, если есть непомеченные ссылки, скачать страницы по этим ссылкам...
Вобщем, все очень просто.