All for Joomla All for Webmasters
Web - Мастер

Бесплатные курсы сео (Часть. 2) Тема: Индексация сайта

Бесплатные курсы сео (Часть. 2) Тема: Индексация сайта

Мои учебные курсы SEO специалиста (часть 2). Индексация сайта

Привет, дорогие читатели!

Темой второй лекции моего курса в компании Wezom было управление индексацией сайта. На этом занятии мы обсуждали:

  • Файл robots.txt. Правила его составления, особенности и типичные ошибки в написании.
  • Мета-теги robots и атрибут rel=’canonical’
  • Файл sitemap.xml
  • Файл .HTAACCESS и модуль Mod_Rewrite

Ниже я привожу мои записи о самых интересных моментах данной лекции.

Бесплатные курсы сео (Часть. 2) Тема: Индексация сайта

Файл robots.txt

Представляет собой текстовый файл, расположенный на сайте и предназначенный для ограничения доступа роботам к нему. Для каждого типа роботов предназначается своя секция данного файла. Также может носить рекомендательный характер.

Основные директивы: UserAgent (характеристика, указывающийся тип робота), Allow (части сайта, которые будут открыты для индексирования), Disallow (части сайта, которые будут закрыты для индексирования), Sitemap (директива предназначена для уведомления поисковых роботов о наличии карты сайта в специальном формате XML Sitemaps), Crawl-Delay (устанавливает время, которое робот должен выдерживать между загрузкой страниц), CleanParam (созданная специально для борьбы с дублями страниц вида utm_campaign, utm_medium и utm_source) и Host (имя главного зеркала сайта).

Allowи Disallow: Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow. Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow.

Специальные символы: При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов. Чтобы отменить * на конце правила, можно использовать спецсимвол $.

Что закрывает от индексации файл robots.txt: дубли страниц, страницы фильтров, страницы авторизации и регистрации, страницы поиска и пагинации, неуникальные страницы, сессии, теги и системные файлы.

Бесплатные курсы сео (Часть. 2) Тема: Индексация сайта

Мета-теги robots и атрибут rel=’canonical’

МЕТА-тег “Robots” позволяет указывать роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.

МЕТА-тег “Robots” используют для закрытия от индексации фильтров, дублей, поисков, пагинации, а также в качестве запрета перехода по ссылкам.

rel=canonical — атрибут тега <link>, который используется для обозначения канонических страниц на сайте. Сама же каноническая страница — это страница сайта адрес которого является каноническим (предпочитаемым), в группе схожих по содержимому страниц. Проще говоря канонический URL страницы — это адрес, который будет индексироваться при наличии страниц-дублей.

Файл Sitemap.XML

Sitemap. XML представляет собой XML-файлы с информацией для поисковых систем о страницах веб-сайта, которые подлежат индексации.

Sitemaps могут помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.

Бесплатные курсы сео (Часть. 2) Тема: Индексация сайта

Файл. HTAACCESS и Модуль Mod_Rewrite

Файл. HTAACCESS является файлом дополнительной конфигурации веб-сервера Apache, а также подобных ему серверов. Позволяет задавать большое количество дополнительных параметров и разрешений для работы веб-сервера у отдельных пользователей, таких как управляемый доступ к каталогам, переназначение типов файлов и т.д.

Модуль mod-rewrite, имеющийся в составе Apache — это мощнейшее интеллектуальное средство преобразования URL-адресов. С ним возможны почти все типы преобразований, которые могут выполняться или нет в зависимости от разных условий, факторов.

Как Вы уже могли убедиться, данная лекция была полна технической информации. Умения применять полученные знания помогут каждому начинающему SEO специалисту в процессе индексирования его Интернет-ресурса поисковиками Google и Яндекс и его перенаправления из одного сервера на другой.

На этом всё. Следите на следующими записями на моём блоге. До встречи!

Похожие материалы

Нет комментариев

Отставить комментарий