Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
C++. Мастер-класс в задачах и примерах. Авторы: Кузнецов М.В., Симдянов И.В. MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP 5/6. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. PHP на примерах (2 издание). Авторы: Кузнецов М.В., Симдянов И.В. Программирование. Ступени успешной карьеры. Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Разное

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Письмо от Гугла
 
 автор: Yuriev   (29.07.2015 в 00:01)   письмо автору
 
 

Получаю такое письмо:

"Googlebot не может получить доступ к файлам CSS и JS на сайте http://www.ффф.ru/

Веб-мастеру сайта http://www.ффф.ru/
Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
Чтобы устранить проблему, выполните следующие действия: ..."

Почему Гугл такой наглый? Почему он шантажирует в открытую, Почему он лезет не в свои дела? Почему он считает, что я должен решать его проблемы или почему он считает, что проблемы с моим сайтом? Вот люди, посетители моего сайта, довольны, Почему он считает, что сайты надо делать так, как ему удобно и не делать так, как надо людям.

Его дело прикинуться браузером, "увидеть" то, что видят люди, оценить "увиденное", запомнить и выдавать по запросу. Хотя и это он не должен, а может делать по желанию, если хочет, может даже закрыть свою контору. Это его право. А лесть туда, куда не просят, да ещё командовать и чего-то требовать - какая наглость.

Были и раньше письма с требованиями и указаниями, только на другие темы.
Или сейчас наглость стала признаком хорошего тона?

  Ответить  
 
 автор: KPETuH   (29.07.2015 в 12:48)   письмо автору
 
   для: Yuriev   (29.07.2015 в 00:01)
 

Может быть потому что глупо закрывать доступ роботу к css и js? Может быть потому что гуглу наплевать на ваш сайт, и это вам надо чтобы у сайта были высокие позиции в поисковике, гуглу же на это наплевать. Не хотите не исправляйте, не используйте рекомендации, но тогда какие претензии к гуглу? Вы ему что-то заплатили чтобы что-то требовать? Ну и последнее как же он можете прикинутся браузером если вы ему кислород перекрыли? Не заметил в письме требований всего лишь рекомендации. С таким чсв как у вас вам нужно быть императором ойкумены, а не веб-разработчиком.

  Ответить  
 
 автор: Yuriev   (29.07.2015 в 15:50)   письмо автору
 
   для: KPETuH   (29.07.2015 в 12:48)
 

> Вы ему что-то заплатили чтобы что-то требовать?
Чтобы потребовать у наглеца порядочности, надо сначала ему заплатить?

> Не хотите не исправляйте, не используйте рекомендации, но тогда какие претензии к гуглу?
Претензий нет, есть возмущение его непорядочностью.

> Может быть потому что глупо закрывать доступ роботу к css и js?
Может это глупо предоставлять персональный способ доступа каждой программе, возжелавшей это? Есть же стандартный, доступный для всех способ.

> Ну и последнее как же он можете прикинутся браузером если вы ему кислород перекрыли?
Любой браузер, даже который написал 7-летний мой сосед на VBasic, показывают страницы правильно и правильно реагируют на события т. е. доступ к этим файлам имею. Может Гуглу обратиться к моему 7-летнему соседу и попросить поправить поисковый робот? Тогда не потребуется вешать свои проблемы, придумывать лишенные логики правила и вынуждать переделывать миллионы сайтов под своего робота.

> Может быть потому что гуглу наплевать на ваш сайт... гуглу же на это наплевать...
Тут я полностью согласен.

> Не заметил в письме...
Да все мы многого не замечаем или делаем вид и часто не можем (или не хотим) отличить одно от другого, к сожалению.


---
Теперь про всё коротко, дабы уменьшить надобность фантазий возможным моим оппонентам.

Гугл или иные аналогичные организации мне ничем не обязаны.
Ничего у Гугла не требовал и даже не просил.
Не возражаю если Гугл будет получать информацию с моего сайта и использовать её в интересах своих, моих и третьих лиц.
Но считаю, что Гугл делает это в отношении меня с недопустимой долей наглости и неуважения.

Этим я сильно возмущён! Потому и создал тему.

  Ответить  
 
 автор: KPETuH   (29.07.2015 в 16:21)   письмо автору
 
   для: Yuriev   (29.07.2015 в 15:50)
 

>Может это глупо предоставлять персональный способ доступа каждой программе, возжелавшей это? Есть же стандартный, доступный для всех способ.
А не подскажите какой это способ? Видимо гугл про него не знает да и я например про него не слышал, просветите недалекого.

  Ответить  
 
 автор: Yuriev   (29.07.2015 в 17:45)   письмо автору
 
   для: KPETuH   (29.07.2015 в 16:21)
 

Та плохой из меня просветитель. Уже несколько раз объяснял выше, но не получилось.
Может вам спросить у кого-нибудь другого как получают информацию, например, браузеры?
А если учитывать, что не только сегодняшние браузеры, но и старый IE6 работают с моим сайтом одинаково, можно предположить, что этот способ обычный для Интернета, известный многим и найти просветителя не составит труда.

  Ответить  
 
 автор: KPETuH   (30.07.2015 в 10:35)   письмо автору
 
   для: Yuriev   (29.07.2015 в 17:45)
 

Вы вообще в курсе что за файл такой robots.txt?

  Ответить  
 
 автор: Yuriev   (30.07.2015 в 11:31)   письмо автору
 
   для: KPETuH   (30.07.2015 в 10:35)
 

А при чем тут мой курс?
Если я не знаю, что за файл robots.txt, то Гуглу позволительно быть наглым?

  Ответить  
 
 автор: KPETuH   (30.07.2015 в 11:48)   письмо автору
 
   для: Yuriev   (30.07.2015 в 11:31)
 

Если вы не знаете то лучше бы и помолчали. Ваше ЧСВ не дает вам увидеть что гугл не нагл он вас всего лишь предупредил о вашем косяке. Исправлять или не исправлять ваше право.

  Ответить  
 
 автор: Yuriev   (30.07.2015 в 14:03)   письмо автору
 
   для: KPETuH   (30.07.2015 в 11:48)
 

KPETuH, с чего вы взяли, что я не знаю что такое robots.txt? Про это я нигде не писал. Похоже вы фантазируете и на основании своих фантазий делаете выводы.
Я знаю, что такое robots.txt

  Ответить  
 
 автор: KPETuH   (30.07.2015 в 14:25)   письмо автору
 
   для: Yuriev   (30.07.2015 в 14:03)
 

Если знаете, то почему требуете от гугла смотреть на ваш сайт как браузер если сами закрываете для него такую возможность?

  Ответить  
 
 автор: Yuriev   (30.07.2015 в 17:33)   письмо автору
 
   для: KPETuH   (30.07.2015 в 14:25)
 

Вы опять фантазируете.
Не закрывал я от Гугла никакой возможности. И Гугл, и любая друга программа имеют доступ на чтение и css-файлов и js на моём сайте. Любой программой, включая браузеры (которые я выше привел для примера), можно получить эти файлы без проблем в любое время.

  Ответить  
 
 автор: Владимир55   (30.07.2015 в 21:59)   письмо автору
 
   для: Yuriev   (30.07.2015 в 17:33)
 

И Гугл, и любая друга программа имеют доступ на чтение и css-файлов и js на моём сайте.

Дело не в том, чтобы их прочитать. Поисковики читают запрещенные файлы точно так же, как и все остальные. Дело в том, разрешено ли их использовать при индексации. И, как следствие, при ранжировании Вашего сайта.

Вы это запретили, и Гугл индексирует Ваш сайт так, как будто их нет. То есть, он их имеет, но не вправе учитывать.

Удалите эти файлы на время и Вы увидите то, что учтет в индексе Гугл (и Яндекс тоже). Наверняка там будет весьма некрасиво, а потому поисковики опустят Ваш сайт вниз, а то и вообще наложат на него фильтр. И Вы будете биться хоть сто лет, но не сможете вытащить сайт.

Яндекс никогда об этом не скажет, а вот Гугл начал помогать сайтостроителям своими письмами. За что ему большой респект. По крайней мере, от меня.

  Ответить  
 
 автор: Yuriev   (31.07.2015 в 01:23)   письмо автору
 
   для: Владимир55   (30.07.2015 в 21:59)
 

Зачем индексировать javascript и css? Какой смысл? Где в этом логика? Кому и какая может быть польза?
Причина только одна: так хочет Гугл. Без всякой логики или в своих, не моих, интересах.

А теперь отвечу так, как мне в свое время отвечали специалисты Яндекса, Гугла, других организаций официально, в своих статьях для всех и некоторые мастера в этом деле лично. Напишу своими словами, потому-что дословно не помню.

Файлы стилей и jscript являются служебными. Эти файлы никак не связаны с содержимым сайта, его темой, ценностью наполнения. В них держать информацию, подлежащую индексированию, бессмысленно.
Если, например, ваш сайт про лапти, то в поиске отзываться он может на слова лапти, лыко, обувь, немытые ноги, коровы, пастух и му-му, но никак не должен откликаться на слова div, htight, for, class и др. Файл robots.txt как раз и придуман, чтобы сайт мог сообщить поисковику, во избежании недоразумений (робот всё-таки), какие файлы являются служебными, именно сайт роботу, и не является средством или поводом для навязывания роботом своего мнения сайту.

Если робот подозревает, что содержимым этих файлов сайт намерен повлиять на повышение оценки своего контента, да пусть проверяет сколько угодно, robots.txt ему это не запрещает.

Если робот определяет важность сайта по примененным тэгам, по стилевому оформлению, по количеству повторений слов в тексте, то это ущербное изделие вчерашнего дня, а если ещё и навязывает своё, устаревшее позавчера, мнение в виде шантажа словами "опущу если не послушаешься" то это называется, мягко говоря, наглостью.

  Ответить  
 
 автор: Владимир55   (31.07.2015 в 10:23)   письмо автору
 
   для: Yuriev   (31.07.2015 в 01:23)
 

А теперь отвечу так, как мне в свое время отвечали специалисты Яндекса, Гугла, других организаций официально

Они все верно ответили, но с тех пор многое изменилось: Яндекс понимает многие скрипты, а Гугл почти все. При оценке качества сайта Яндекс учитывает порядка 600 параметров, в числе которых, безусловно, есть и стили, и скрипты.

В свое время крупные фирмы обращались к Яндексу с просьбой за плату рассылать вебмастерам замечания по их сайтам, но Яндекс, к сожалению, от этого ушел.

  Ответить  
 
 автор: Yuriev   (31.07.2015 в 16:18)   письмо автору
 
   для: Владимир55   (31.07.2015 в 10:23)
 

Та пусть понимает, пусть сопоставляет, пусть учитывает хоть 600 хоть 900 параметров, пусть делает, что хочет и пусть содержимое служебных файлов влияет на позиции сайта, но их самих зачем индексировать?

И вчера я спросил.
Вот что ответили. Не, не индексируем, а учитываем содержимое для оценки сайта. Какой смысл индексировать, если в этих файлах одни и те же слова на всех сайтах и зачем индексировать, если ссылки на эти файлы в поисковой выдаче не появляются.
А про письмо сказали примерно так:
- С кем не бывает, не досмотрели

  Ответить  
 
 автор: Владимир55   (31.07.2015 в 16:43)   письмо автору
 
   для: Yuriev   (31.07.2015 в 16:18)
 

Вероятно, Вы, Yuriev, не понимаете, что такое индексация. Вы думаете, что считали файл - значит проиндексировали? Вовсе нет!

Поисковик считывает все файлы, в том числе и запрещенные к индексации, и служебные. Считывает, и отправляет себе в базу. А потом совершенно другая его служба (и на другом сервере) производит их индексацию, то есть превращает Вашу страницу в специальный набор символов. При этом индексируется не все подряд, а только то, что соответствующий анализатор посчитает ценным. Например, могут вообще не индексироваться информационные дубли, некачественный контент и др.

Файлы стилей и скрипты не индексируются независимо от того, есть на них запрет или нет запрета. А для чего их считывают, я Вам уже писал.

  Ответить  
 
 автор: Yuriev   (31.07.2015 в 17:21)   письмо автору
 
   для: Владимир55   (31.07.2015 в 16:43)
 

Ну, вот вы и подтвердили, моё мнение о том, что запрет индексации не является запретом чтения файла и использования его содержимого для праведных целей.
А знаю я это или не знаю, не в этом дело. Важно, что Гугл путает запрет на чтение файла и запрет на индексацию

  Ответить  
 
 автор: Владимир55   (01.08.2015 в 10:10)   письмо автору
 
   для: Yuriev   (31.07.2015 в 17:21)
 

вы и подтвердили, моё мнение о том, что запрет индексации не является запретом чтения файла
Не является.

и использования его содержимого для праведных целей.
Вот именно это он поисковикам и запрещает, это его единственная функция.


Гугл путает запрет на чтение файла и запрет на индексацию
Гугл ничего не путает. Просто, вы невнимательно читали его письмо: "Робот Googlebot не может обработать ...".

Обработать, а не прочитать.

  Ответить  
 
 автор: KPETuH   (31.07.2015 в 10:36)   письмо автору
 
   для: Yuriev   (31.07.2015 в 01:23)
 

> robots.txt ему это не запрещает

Вы не правы.

>Если робот определяет важность сайта по примененным тэгам, по стилевому оформлению, по количеству повторений слов в тексте, то это ущербное изделие вчерашнего дня, а если ещё и навязывает своё, устаревшее позавчера, мнение в виде шантажа словами "опущу если не послушаешься" то это называется, мягко говоря, наглостью.

В яваскрикте или в цсс вы легко можете блокировать определенные блоки информации, одни блоки для пользователей другие для роботов для повышения позиций вашего сайта в поиске. Представим на минутку что гугл абсолютно честен и он не читает те файлы которые вы ему запретили в роботс.тхт и он не знает как выглядит ваш сайт для пользователя.

Повторюсь хоть вы меня и не слышите, ваше ЧСВ не дает вам увидеть что гугл вас не шантажирует а просто предупреждает, ваше право как поступить. На этом думаю дискуссию стоит прекратить ваше дело как поступать.

  Ответить  
 
 автор: IT81   (18.09.2015 в 21:06)   письмо автору
 
   для: KPETuH   (29.07.2015 в 12:48)
 

>Ну и последнее как же он можете прикинутся браузером если вы ему кислород перекрыли?
Простите, каким образом запретив для индексациия папки style и javascript "перекрывается" кислород для нормального отображения сайта в браузере?

  Ответить  
 
 автор: KPETuH   (21.09.2015 в 11:11)   письмо автору
 
   для: IT81   (18.09.2015 в 21:06)
 

Отключите в браузере яваскрипт и css и посмотрите как будет выглядеть ваш сайт.

Я исхожу из того что гугл честен и если вы ему запрещаете индексировать, значит он не использует эти файлы. Соответственно гугл не может видеть как ваши сайты будут выглядеть без css и js.

  Ответить  
 
 автор: IT81   (21.09.2015 в 13:49)   письмо автору
 
   для: KPETuH   (21.09.2015 в 11:11)
 

>Отключите в браузере яваскрипт и css и посмотрите как будет выглядеть ваш сайт.
Браузер нормально открывает как индексируемые, так и неиндексируемые страницы. Он для этого написан. Зачем мне что-то отключать?

>Я исхожу из того что гугл честен и если вы ему запрещаете индексировать, значит он не использует эти файлы.
Если гугл индексирует мой js-код как код, значит он должен его выдавать как код, иначе это не будет являться индексируемым контентом. Не выдает? Значит индексация не требуется.

>Соответственно гугл не может видеть как ваши сайты будут выглядеть без css и js.
Обычно в коде стоит инструкция для включения css и js. Также легко ее там может не быть, а вместо нее стили и скрипты могут быть в теле страницы. Так уже лет 20 заведено. И никогда что-либо, кроме отключения отображения стилей, на это отображение не влияло и влиять не будет

Гугл просто скинул в одну кучу индексируемые адреса и элементы дизайна страницы и хочет своё неудобство разбирать это, думая что куда, заменить вашим неудобством. Так же проще, вдруг я тут что-то нахимичу, ты уж позаботься, чтобы у тебя сайты случайно из индекса не выпали.

  Ответить  
 
 автор: KPETuH   (21.09.2015 в 14:08)   письмо автору
 
   для: IT81   (21.09.2015 в 13:49)
 

Еще один нашелся, гугл вам ничего не должен, не хотите не разрешайте ему индексировать файлы css, js только потом не удивляйтесь почему ваши сайты понижаются в выдаче.

Гугл всего лишь хочет видеть ваши сайты как пользователь. Запрещая к индексации эти файлы вы не даете ему это сделать. ИМХО.

  Ответить  
 
 автор: IT81   (21.09.2015 в 15:08)   письмо автору
 
   для: KPETuH   (21.09.2015 в 14:08)
 

>...не хотите не разрешайте ему индексировать файлы css, js только потом не удивляйтесь...
Вот вы любите приписывать людям действия, которых они не делали

>Запрещая к индексации эти файлы вы не даете ему это сделать. ИМХО.
То есть вы даже не уверены в своей правоте, правильно? =)

  Ответить  
 
 автор: KPETuH   (22.09.2015 в 10:33)   письмо автору
 
   для: IT81   (21.09.2015 в 15:08)
 

То есть, если вы не знаете что такое ИМХО, просите у гугла.

  Ответить  
 
 автор: Владимир55   (29.07.2015 в 15:40)   письмо автору
 
   для: Yuriev   (29.07.2015 в 00:01)
 

Следует поблагодарить Гугл за заботу о Вашем сайте. Прежде таких писем не было, так что оптимизатору приходилось только гадать, почему сайт не лезет в ТОР.

  Ответить  
 
 автор: Yuriev   (29.07.2015 в 18:15)   письмо автору
 
   для: Владимир55   (29.07.2015 в 15:40)
 

Как-то ехал я в поезде.
Рядом со мной в купе молодая мама читала ребёнку сказку в которой король распорядился всем ходить задом на перёд и благодарить короля, а лучшим ходокам выдавать огромные куски сыра. Там ещё про многое другое было.
Когда сказка кончилась, первое, что сказал ребёнок:
- Зачем ходить задом на перёд?
Потом подумал и добавил:
- А почему благодарить короля?

Про этот случай я совсем забыл, а вот сегодня, почему-то, вспомнилось.

  Ответить  
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования