Правильный sitemap (карта сайта) для Opencart (Яндекс+Google)

Главная задача карты сайта — это ускорить попадание новых страниц в индекс. Это тем актуальнее, чем больше страниц на сайте. Принцип работы такой — роботам поисковых систем проще «подсмотреть» наличие новых страниц в файле sitemap, чем делать переобход всего сайта.

Зачем нужен sitemap?

Sitemap.xml критически важен для сайтов, у которых:

• Есть разделы недоступные через навигационное меню.
• Имеются изолированные или плохо перелинкованные между собой страницы.
• Используются технологии, слабо поддерживаемые поисковыми системами (например, Flash или JavaScript).
• Присутствует много страниц и есть вероятность, что поисковый робот пропустит новый контент.

Когда не нужен

Sitemap.xml не нужен маленьким магазинам, где все товары и категории лежат не дальше 2 кликов от главной, а новые страницы появляется достаточно редко — раз в 15-30 дней.

Для небольших интернет магазинов, но со сложной системой категорий и подкатегорий, можно обойтись без сайтмапа, создав HTML карту сайта. Но я всегда настраиваю XML карту, потому что сегодня в магазине 50 товаров, а завтра собственники решили расшириться и их стало 1550.

Как создать карту сайта для Opencart

В Opencart уже предусмотрен модуль для создания карты сайта — Google Sitemap. Но у него есть две проблемы — долгое время работы, если товаров больше 10 000 и вторая — Яндекс.Вебмастер не поддерживает теги image:image и показывает ошибки. Поэтому будем создавать две отдельные карты для каждой из поисковых систем:

1. Включаем модуль google sitemap.
2. Скачиваем и устанавливаем отдельный модуль Яндекс.Sitemap.
3. Генерируем две карты сайта
4. Проверяем их на ошибки(способы чуть ниже)
5. Прописываем в robots.txt и панелях вебмастеров

Добавляем карту сайтов в панели вебмастеров

Прописываем ссылки в robots.txt

Про добавление карты сайта в файл robots читайте в статье — Идеальный robots.txt для OpenCart 2.3\3.x

Как проверить карту сайта на ошибки

Самые частые ошибки:

• В сайтмап попадает несуществующая страница (отдает код 404) или страница с редиректом (отдает код 301 или 302)
• Страница из сайтмапа закрыта от индексации в robots.
• Страница закрыта тегом meta-robots noindex.

Чтобы проверить нашу карту сайта, запускаем Screaming Frog, в пункте меню «Mode» переключаемся в режим «List». Далее загружаем файл sitemap кнопкой «Upload» и нажимаем «Start» чуть правее. В отчете будут видны коды статусов страниц и не закрыты ли они от индексации. На скриншоте загружена карта действующего интернет-магазина. Страница about_us выдает 404 статус, скорее всего, ее перенесли или удалили, это ошибка и ее нужно исправлять.

Кроме Screaming Frog можно использовать анализатор файлов Sitemap от Яндекса. Обязательно проверяйте свои карты перед загрузкой в инструменты вебмастеров. Если в последствии всплывут новые ошибки, они будут показываться на вкладке «Сводка».

Порядок действий:

• Проверяем программой Seo Frog, убираем все найденные ошибки.
• Тестируем через инструмент Яндекса или в Google Search Console.
• Периодически поглядываем в вебмастер на предмет ошибок.

Частые проблемы

Когда нужно делать несколько карт сайтов

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

• На сайте стоит второй движок (например WordPress для блога или phpBB для форума).
• В магазине больше 20 000 товаров.

При такой схеме создается индексный sitemap, синтаксис у него такой же, как и у обычного, но ссылки могут быть только на другие XML файлы. Пример:

sitemapindex (обязательный тег) — инкапсулирует информацию о всех файлах Sitemap в этом файле.
sitemap (обязательный тег) — инкапсулирует информацию об отдельном файле Sitemap.
loc (обязательный тег) — указывает местоположение файла Sitemap.
lastmod — указывает время изменения соответствующего файла Sitemap.

Кириллические адреса в sitemap

В случае с кириллического домена придется заморочиться и потратить прилично времени. Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap.xml при переходе сайта на HTTPS

При переезде сайта магазина на HTTPS придерживаемся следующего алгоритма:

• Удаляем все старые файлы sitemap.xml (не забываем про беэкап).
• Проверяем сайт Screaming Frog-ом или Netpeak Spider, все нужные страницы должны быть с 301 редиректом.
• Генерируем новые сайтмапы.
• Проверяем их на ошибки — все адреса должны быть с HTTPS, sitemap c http-версии редиректит 301 на sitemap https-версии.
• Дожидаемся склейки.