Главная задача карты сайта — это ускорить попадание новых страниц в индекс. Это тем актуальнее, чем больше страниц на сайте. Принцип работы такой — роботам поисковых систем проще «подсмотреть» наличие новых страниц в файле sitemap, чем делать переобход всего сайта.
Зачем нужен sitemap?
Sitemap.xml критически важен для сайтов, у которых:
- Есть разделы недоступные через навигационное меню.
- Имеются изолированные или плохо перелинкованные между собой страницы.
- Используются технологии, слабо поддерживаемые поисковыми системами (например, Flash или JavaScript).
- Присутствует много страниц и есть вероятность, что поисковый робот пропустит новый контент.
Когда не нужен
Sitemap.xml не нужен маленьким магазинам, где все товары и категории лежат не дальше 2 кликов от главной, а новые страницы появляется достаточно редко — раз в 15-30 дней.
Для небольших интернет магазинов, но со сложной системой категорий и подкатегорий, можно обойтись без сайтмапа, создав HTML карту сайта. Но я всегда настраиваю XML карту, потому что сегодня в магазине 50 товаров, а завтра собственники решили расшириться и их стало 1550.
Как создать карту сайта для Opencart
В Opencart уже предусмотрен модуль для создания карты сайта — Google Sitemap. Но у него есть две проблемы — долгое время работы, если товаров больше 10 000 и вторая — Яндекс.Вебмастер не поддерживает теги image:image и показывает ошибки. Поэтому будем создавать две отдельные карты для каждой из поисковых систем:
- Включаем модуль google sitemap.
- Скачиваем и устанавливаем отдельный модуль Яндекс.Sitemap.
- Генерируем две карты сайта
- Проверяем их на ошибки(способы чуть ниже)
- Прописываем в robots.txt и панелях вебмастеров
Добавляем карту сайтов в панели вебмастеров
Прописываем ссылки в robots.txt
Про добавление карты сайта в файл robots читайте в статье — Идеальный robots.txt для OpenCart 2.3\3.x
Как проверить карту сайта на ошибки
Самые частые ошибки:
- В сайтмап попадает несуществующая страница (отдает код 404) или страница с редиректом (отдает код 301 или 302)
- Страница из сайтмапа закрыта от индексации в robots.
- Страница закрыта тегом meta-robots noindex.
Чтобы проверить нашу карту сайта, запускаем Screaming Frog, в пункте меню «Mode» переключаемся в режим «List». Далее загружаем файл sitemap кнопкой «Upload» и нажимаем «Start» чуть правее. В отчете будут видны коды статусов страниц и не закрыты ли они от индексации. На скриншоте загружена карта действующего интернет-магазина. Страница about_us выдает 404 статус, скорее всего, ее перенесли или удалили, это ошибка и ее нужно исправлять.
Кроме Screaming Frog можно использовать анализатор файлов Sitemap от Яндекса. Обязательно проверяйте свои карты перед загрузкой в инструменты вебмастеров. Если в последствии всплывут новые ошибки, они будут показываться на вкладке «Сводка».
Порядок действий:
- Проверяем программой Seo Frog, убираем все найденные ошибки.
- Тестируем через инструмент Яндекса или в Google Search Console.
- Периодически поглядываем в вебмастер на предмет ошибок.
Частые проблемы
Когда нужно делать несколько карт сайтов
При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:
- На сайте стоит второй движок (например WordPress для блога или phpBB для форума).
- В магазине больше 20 000 товаров.
При такой схеме создается индексный sitemap, синтаксис у него такой же, как и у обычного, но ссылки могут быть только на другие XML файлы. Пример:
sitemapindex (обязательный тег) — инкапсулирует информацию о всех файлах Sitemap в этом файле.
sitemap (обязательный тег) — инкапсулирует информацию об отдельном файле Sitemap.
loc (обязательный тег) — указывает местоположение файла Sitemap.
lastmod — указывает время изменения соответствующего файла Sitemap.
Кириллические адреса в sitemap
В случае с кириллического домена придется заморочиться и потратить прилично времени. Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.
Вместо:
https://минобрнауки.рф/фото
Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE
Sitemap.xml при переходе сайта на HTTPS
При переезде сайта магазина на HTTPS придерживаемся следующего алгоритма:
- Удаляем все старые файлы sitemap.xml (не забываем про беэкап).
- Проверяем сайт Screaming Frog-ом или Netpeak Spider, все нужные страницы должны быть с 301 редиректом.
- Генерируем новые сайтмапы.
- Проверяем их на ошибки — все адреса должны быть с HTTPS, sitemap c http-версии редиректит 301 на sitemap https-версии.
- Дожидаемся склейки.