ya posmatrel to shto vi mne prislali !
ya sam napisal code kotoroe generit robots.txt;
nu u mniya problema est kak mne sdelat tak esli vibran glavni katalog to ego pod katalogi ne dobavlalis v robots.txt .
u mniya scaniruetsa ves path i vivoditsa imena filov i katalogov i pod katalogov !!!
i vibirayetsa checkBox-ami ;