Правильный sitemap (карта сайта) для Opencart (Яндекс+Google)

Главная задача карты сайта — это ускорить попадание новых страниц в индекс. Это тем актуальнее, чем больше страниц на сайте. Принцип работы такой — роботам поисковых систем проще «подсмотреть» наличие новых страниц в файле sitemap, чем делать переобход всего сайта.

В карте сайта должны быть только те страницы, которые должны индексироваться(полезные пользователю). Страницы личного кабинета, регистрации, оформления заказа и прочие служебные не надо включать в Sitemap. В карту сайта также не должны попасть страницы с динамическими параметрами — фильтры, реф.ссылки и тд.

Зачем нужен sitemap?

Sitemap.xml критически важен для сайтов, у которых:

Есть разделы недоступные через навигационное меню.
Имеются изолированные или плохо перелинкованные между собой страницы.
Используются технологии, слабо поддерживаемые поисковыми системами (например, Flash или JavaScript).
Присутствует много страниц и есть вероятность, что поисковый робот пропустит новый контент.

Когда не нужен

Sitemap.xml не нужен маленьким магазинам, где все товары и категории лежат не дальше 2 кликов от главной, а новые страницы появляется достаточно редко — раз в 15-30 дней.

Для небольших интернет магазинов, но со сложной системой категорий и подкатегорий, можно обойтись без сайтмапа, создав HTML карту сайта. Но я всегда настраиваю XML карту, потому что сегодня в магазине 50 товаров, а завтра собственники решили расшириться и их стало 1550.

Как создать карту сайта для Opencart

В Opencart уже предусмотрен модуль для создания карты сайта — Google Sitemap. Но у него есть две проблемы — долгое время работы, если товаров больше 10 000 и вторая — Яндекс.Вебмастер не поддерживает теги image:image и показывает ошибки. Поэтому будем создавать две отдельные карты для каждой из поисковых систем:

Включаем модуль google sitemap.
Скачиваем и устанавливаем отдельный модуль Яндекс.Sitemap.
Генерируем две карты сайта
Проверяем их на ошибки(способы чуть ниже)
Прописываем в robots.txt и панелях вебмастеров

Добавляем карту сайтов в панели вебмастеров

Прописываем ссылки в robots.txt

Про добавление карты сайта в файл robots читайте в статье — Идеальный robots.txt для OpenCart 2.3\3.x

Как проверить карту сайта на ошибки

Самые частые ошибки:

В сайтмап попадает несуществующая страница (отдает код 404) или страница с редиректом (отдает код 301 или 302)
Страница из сайтмапа закрыта от индексации в robots.
Страница закрыта тегом meta-robots noindex.

Чтобы проверить нашу карту сайта, запускаем Screaming Frog, в пункте меню «Mode» переключаемся в режим «List». Далее загружаем файл sitemap кнопкой «Upload» и нажимаем «Start» чуть правее. В отчете будут видны коды статусов страниц и не закрыты ли они от индексации. На скриншоте загружена карта действующего интернет-магазина. Страница about_us выдает 404 статус, скорее всего, ее перенесли или удалили, это ошибка и ее нужно исправлять.

Кроме Screaming Frog можно использовать анализатор файлов Sitemap от Яндекса. Обязательно проверяйте свои карты перед загрузкой в инструменты вебмастеров. Если в последствии всплывут новые ошибки, они будут показываться на вкладке «Сводка».

Порядок действий:

Проверяем программой Seo Frog, убираем все найденные ошибки.
Тестируем через инструмент Яндекса или в Google Search Console.
Периодически поглядываем в вебмастер на предмет ошибок.

Частые проблемы

Когда нужно делать несколько карт сайтов

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

На сайте стоит второй движок (например WordPress для блога или phpBB для форума).
В магазине больше 20 000 товаров.

При такой схеме создается индексный sitemap, синтаксис у него такой же, как и у обычного, но ссылки могут быть только на другие XML файлы. Пример:

sitemapindex (обязательный тег) — инкапсулирует информацию о всех файлах Sitemap в этом файле.
sitemap (обязательный тег) — инкапсулирует информацию об отдельном файле Sitemap.
loc (обязательный тег) — указывает местоположение файла Sitemap.
lastmod — указывает время изменения соответствующего файла Sitemap.

Кириллические адреса в sitemap

В случае с кириллического домена придется заморочиться и потратить прилично времени. Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap.xml при переходе сайта на HTTPS

При переезде сайта магазина на HTTPS придерживаемся следующего алгоритма:

Удаляем все старые файлы sitemap.xml (не забываем про беэкап).
Проверяем сайт Screaming Frog-ом или Netpeak Spider, все нужные страницы должны быть с 301 редиректом.
Генерируем новые сайтмапы.
Проверяем их на ошибки — все адреса должны быть с HTTPS, sitemap c http-версии редиректит 301 на sitemap https-версии.
Дожидаемся склейки.