За дубли URL, что в Sitemap, Google не накажет

24.01.2013

На форуме для веб-мастеров, организованном Google, довольно часто обсуждаются различные проблемы. Не так давно один из пользователей тоже поделился своей обеспокоенностью. Его волновало наличие на сайте целого ряда файлов Sitemap, содержащих дубликаты URL-адресов.

Чтобы устранить эту проблему, пользователь создал один файл Sitemap, переместив в него дубли URL-адресов, однако количество копий постоянно растет. Специалиста интересовало, можно ли считать такую избыточность повторяющихся URL-адресов обычным явлением или у Google предусмотрены штрафные санкции за это.

Комментируя сообщение, Джон Мюллер от имени Google заявил, что из этого не нужно делать проблему, более того, избыток URL-адресов он назвал «нормой». Джон Мюллер направил запрос команде Google, под контролем которой находятся файлы Sitemap, на что получил вот какой ответ:

По всей вероятности, неоднократное внесение дублей URL-адресов, оказывающихся в одном файле Sitemap, не опасно. Поскольку многократное добавление одних и тех же URL-адресов непосредственно в файлы Sitemap никак не отражается на индексации страниц веб-ресурса поисковыми роботами, прозвучала также рекомендация размещения на странице единственного файла Sitemap, чтобы сайт можно было проиндексировать корректно.

Из заявления можно сделать вывод, что существует довольно много сайтов, у которых разные владельцы и авторизованные пользователи Google Webmaster Tools. Соответственно, также есть круг разработчиков, дизайнеров и веб-мастеров. Кроме этого, можно упомянуть компании, занимающиеся поисковой оптимизацией. У всех перечисленных категорий пользователей есть возможность добавления на сайт различных файлов Sitemap. Поэтому дубликаты URL-адресов – распространенное явление, но Google не считает это проблемой.