Все о Sitemap. Seo-рекомендации по ее созданию

Опубликовано: 01.09.2018

В большинстве случаев поисковые роботы узнают о страницах сайта, переходя со страницы на страницу по ссылкам, и этого бывает достаточно для полного сканирования сайта. Но во многих случаях (к примеру, если на вашем сайте имеется много динамически создаваемых страниц, или страниц на которые требуется много переходов по ссылкам) поисковые роботы не могут найти все страницы или могут неверно присвоить им важность. Для этого на сайте предусматривают файл Sitemap.

Как создать файл Sitemap?

Большинство поисковых систем могут принимать файлы Sitemap в различных форматах, но рекомендуется файлы создавать на основе протокола Sitemap, так как его можно будет использовать для разных поисковых систем (Yandex, Bing, Yahoo и т.п.), которые являются участниками ресурса sitemap.org .

Обычно файл Sitemap имеет вот такие стандартные переменные:

[url] [loc]http://excalibur.com.ua[/loc] [lastmod]2010-10-13[/lastmod] [changefreq]daily[/changefreq] [priority]1.0[/priority] [/url]

Где:

loc (location) – URL-адрес страницы, например, http://excalibur.com.ua; lastmod (last modified) – дата последних изменений на странице; changefreq (change frequency) – указывает, насколько часто обновляется страница (значения never, weekly, daily, hourly, monthly, yearly); priority – так званый приоритет (значение) веб-страницы (значения — 0.0 (низкий), 1.0 (высокий), 0.5 (средний)).

Собственно по созданию Sitemap. В интернете существует много сервисов, которые позволяют создать файл автоматически.

Обратите внимание, что поисковые системы не проверяли и не подтверждали полноценные функции и безопасность программного обеспечения независимых производителей.

Кроме этого стоить сказать о файлах Sitemap для новостей . Так как новостные порталы очень активно наполняются контентом, надо чтобы и индексировались намного быстрее обычных сайтов. Именно для этого были предусмотрены новостные файлы Sitemap.

Проблема сервисов в том, что они генерируют статическую Sitemap, а ваш сайт не стоит на месте и все время добавляется новый контент, т.е. появляются новые URL. Но в сгенерированном Sitemap свежие ссылки отсутствуют, потому, нужно после каждого обновления сайта снова пользоваться услугами сервиса, что, как вы понимаете, не очень удобно. Это же касается и плагинов CMS, ведь не всегда можно предвидеть как будет сгенерирована карта сайта, после добавления новых компонент/модулей на Ваш проект. Поэтому для идеальности надо следить в каком случае и как формируется Sitemap.

Как сообщить поисковикам о файле Sitemap.

Поисковики Google Yandex предусмотрели в своих панелях для вебмастеров возможность добавления файлов Sitemap.

Кроме того есть возможность сообщить о файле с помощью robots.txt в директиве Sitemap:

User-agent: * Disallow: / Sitemap: https://softobzor.com.ua/sitemap.xml

В случае если на сайте несколько Sitemap – укажите все (ниже представлено случай, когда имеется два файла).

User-agent: * Disallow: / Sitemap: https://softobzor.com.ua/sitemap.xml Sitemap: https://softobzor.com.ua/sitemap.xml

Если же вы хотите удалить файл Sitemap, делаете это через те же панели инструментов и не забываете об удалении из директивы Sitemap в robots.txt .

Нужно зазначить, что кроме вышеуказанного формата XML можно использовать :

RSS 2.0 и Atom 1.0. То есть при наличии на сайте или блоге RSS(Real Simple Syndication) или Atom-фида, то с легкостью можете отправить URL этого фида как источник файла Sitemap. Но надо иметь ввиду, что обычно с помощью фида передается информация только о последних URL-адресах.

Текстовый файл (txt) . В файле который вы предоставите должен содержать по одному URL-адресу на каждую строку.

Для получения максимально эффекта надо следить :

чтобы адреса указывались полностью, так как именно в таком виде их и сканирует поисковый робот; в текстовом файле должна быть использована кодировка UTF-8; в файле не должно присутствовать лишних элементов; если необходимо файл можно сжать с помощью архиватора gzip; убедитесь, что адреса отвечают стандарту RFC-3986 для URI-адресов, а также отвечают стандарту RFC-3987 для файлов IRI.

Sitemap.html и Sitemap.xml: в чем разница и как создать?

Первый вариант — это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат ориентирован на пользователей сайта и позволяет сразу перейти на любую из страниц. Sitemap.html должен быть удобным для пользователя и иметь структуру дерева с развернутыми разделами;

Файло Sitemap.xml создается для поисковой системы, откуда та может получать дополнительную информацию для показа в результатах поиска.

Советы по созданию файлов Sitemap

Ниже приведен пример XML-файла индекса Sitemap, в котором перечислены два файла Sitemap. <?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <sitemap> <loc>https://softobzor.com.ua.xml.gz</loc> <lastmod>2004-10-01T18:23:17+00:00</lastmod> </sitemap> <sitemap> <loc>https://softobzor.com.ua.gz</loc> <lastmod>2005-01-01</lastmod> </sitemap> </sitemapindex> Надо создавать файл с количеством URL не более чем 50 000, и размер файла не должен превышать 10МБ (если больше, разбейте на несколько). Используйте одинаковый синтаксис (или с www везде или без). Не рекомендуется включать в адреса идентификаторы сеансов. Sitemap должен указывать на пространство имен Sitemap: xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″. Сервер, на котором размещён сайт, должен поддерживать кодировку UTF-8, и именно на UTF-8 должны быть адреса в Sitemap. Необходимо указывать URL с префиксом http.

Расширения файлов Sitemap

Кроме базовых данных, файлы Sitemap могут содержать информацию о некоторых типах контента (изображения, видео, новости, геоконтент и т.п.). Поэтому является важным указывать соответствующие пространства имен (представлено ниже).

Общие URL	xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″
Изображения	xmlns:image=»https://softobzor.com.ua/schemas/sitemap-image/1.1″
Видео	xmlns:video=»https://softobzor.com.ua/schemas/sitemap-video/1.1″
Контент для мобильных устройств	xmlns:mobile=»https://softobzor.com.ua/schemas/sitemap-mobile/1.0″
Поиск кода	xmlns:codesearch=»https://softobzor.com.ua/codesearch/schemas/sitemap/1.0″
Геоконтент	xmlns:geo=»https://softobzor.com.ua/geo/schemas/sitemap/1.0″
Новости	xmlns:news=»https://softobzor.com.ua/schemas/sitemap-news/0.9″. Рекомендовано для новостей создавать отдельные Sitemap, которые будут намного чаще сканироваться.

Проверка файла Sitemap

Для определения атрибутов, которые были использованы в Sitemap используют две схемы по этому адресу:

http://www.sitemaps.org/schemas/sitemap/0.9/

А именно sitemap.xsd и siteindex.xsd.

Существует ряд инструментов, которые помагают работатьс фалами XML и проверять их по этой схеме.