Форум PHP

Встал вопрос о построении карты сайта. Нужно решение которое бы позволяло автоматом генерить карту сайта при добалвении новых страниц, и удалени старых.

Сначала думал сделать таблицу в БД, и закинуть туда все ссылки, т.е. генерить картсу сайта скриптом, так сказать "знутри". Но, проблема в следующем. На сайте есть статьи, у статей группы, у групп метки, т.е. есть страницы со списком статей по группам и по метками. Кроме того, у статей естьразные уровни доступа, и не все статьи видно роботу поисковика. Короче, генерить этот сайтмап изнутри учитывая все права доступа, метки, группы - геморойно. Решил поискать "внешнее" решение. :)

Наткнулся на Google Sitemap Generator - http://code.google.com/p/googlesitemapgenerator/. Там, конечно все на английском, но то что я понял, это скрипт, который ставиться на сервер, и делает внешний обход сайта, и добавляет в карту все что видит.

Кто-нибудь пользовался этим изделием? Можете что-нибудь про него сказать, посоветовать? Стоит ли с ним связываться? И как его устанавливать? Там дано три архивных файла для скачивания, и куча инструкций на английском. А я в английском не очень.. :)

Сейчас практически всегда сами генерируем, раньше был свои собственные пауки, но от него решили отказаться - капризные и сложные шутки, много к себе внимания требуют.

А для поисковиков принципиально важно чтобы ВСЕ страницы были в Карте? Если я, например забью на странцы со списком статей, и добавлю в карту только сами статьи?

Т.е. будет ли поисковик смотреть сайт, попимо карты сайта? Или он посмотрит карту и проиндексирует только те страницы, которые указны в карте?

Эта карта для людей или речь идет о sitemap? Если о последнем, то поисковику по барабану сколько там ссылок - чем меньше, тем лучше. Насколько я помню там довольно туманно по этому вопросу выражались, да вы конечно помещайте ссылки и приоритеты индексирования выставляйте, но мы сами все решим. По идее этот файл/файлы указывают приоритетные страницы, те которые нужно по мнению автора сайта индексировать в первую очередь и обязательно (остальное не имеет значения, но если робот найдет там что-то ценное и уникальное, он все-равно проиндексирует).

Речь идет именно о sitemap, для поисковика.

Еще вопрос. Когды Вы гененрируете карты сайта, Вы в них добавляете все страницы? Например страницы со списками статей, страницы с метками, и пр.

странно, в чем проблема.
вы меню как строите? страницы как выводите? точно так же и карту стройте.
например, у меня два меню. - горизонтальное и вертикальное. сначала вывожу все ссылки, которые в этих меню. потом ссылки на страницы, на новости, если есть товары, то и на товары. все делается в одном файле, который формирует xml-карту сайта по всем требованиям Гугл и сохраняет ее в корне.

Сами генерируете каким способом? Паук есть собственный? или "изнутри", создаете таблицу в БД?

Был паук, забросили... стараемся изнутри - все на базе данных, поэтому адреса страниц всегда можно вычислить - это точнее и позволяет отсечь любые дополнительные GET-параметры вроде параметров постраничной навигации. За простым роботом нужно сильно прибираться, сложный робот требует слишком больших усилий, мало того, что поддерживай движок, учитывай индивидуальные особенности сайта, так еще и за роботом следи - слишком сложно и дорого получается. Поэтому этот проект сейчас на реконструкции, с одной стороны робот будет упрощаться, с другой стороны переводиться на приличный язык (C+SQLite). Ну это если, конечно, руки дойдут, так как и без него дел по горло.