Влияние внутренней перелинковки на скорость индексации

Каждый, кто ведёт сайт, сталкивался с ситуацией: новая страница опубликована, а в поиске её нет. Проходит день, два, неделя. Владельцы интернет-магазинов видят это по товарам, редакторы блогов — по свежим статьям. Запросы в поддержку поисковых систем обычно ни к чему не приводят.

Причина задержки часто кроется внутри самого сайта. А точнее — в том, как страницы связаны друг с другом. Внутренняя перелинковка напрямую влияет на то, с какой скоростью роботы находят и обрабатывают новые материалы.

Итак, как именно ссылки между страницами ускоряют индексацию? И где чаще всего случаются ошибки, которые тормозят этот процесс? Разберёмся по порядку.

У поискового робота нет единой карты всех страниц в интернете, вместо этого у него есть список уже известных адресов, с которых он начинает обход. Скажем, робот заходит на главную страницу вашего сайта или в популярный раздел каталога, дальше он сканирует все ссылки на этих страницах и переходит по ним. Шаг за шагом, переходя с одной страницы на другую, робот обнаруживает новые материалы. Если не поставить ни одной ссылки на свежую публикацию с уже известных страниц, робот просто не узнает о её существовании, ведь другого способа найти страницу, кроме как пройти по ссылке, у него нет.

Частота визитов робота тоже различается: одни страницы он проверяет каждый час, а другие раз в месяц, и зависит это от количества входящих внутренних ссылок. Страница, на которую ведут десять ссылок из разных материалов и из главного меню, получает высокий приоритет, а страница без единой входящей ссылки? Робот наткнётся на неё случайно или пропустит в принципе.

Посмотрите на глубину вложенности, то есть на то, сколько кликов нужно сделать от главной страницы до новой публикации. Один клик это отлично, три клика нормально, а пять кликов уже проблема, потому что чем длиннее путь, тем реже робот туда добирается. Если новая страница находится на четвёртом уровне вложенности, индексация затянется на неделю или дольше.

Есть ещё такое понятие, как бюджет краулинга. У робота существует лимит на количество страниц, которые он обработает за один визит на сайт. Для небольшого блога на тысячу страниц этот лимит практически незаметен, но для крупного каталога со ста тысячами товаров это жёсткое ограничение. Как робот выбирает, что проверить в первую очередь? Он идёт за ссылками, и чем больше ссылок ведёт на страницу, тем выше её приоритет в очереди на обход.

Получается, что внутренняя перелинковка напрямую управляет скоростью индексации, потому что вы задаёте роботу маршруты и расставляете приоритеты через ссылки. Если оставлять новые страницы без входящих ссылок или прятать их глубоко в структуре, тогда робот будет добираться до них долго, а значит, и индексация затянется.

Разобрались с тем, как робот перемещается по сайту. Теперь посмотрим, за счёт каких конкретных механизмов внутренние ссылки сокращают время между публикацией страницы и её появлением в выдаче.

Чем больше внутренних ссылок ведёт на страницу, тем более важной её считает поисковая система. Робот запоминает этот сигнал и выделяет такой странице больше времени при каждом визите. Чтобы передать странице сигнал важности, разместите на неё ссылки из разных мест:

Чем разнообразнее источники ссылок, тем убедительнее сигнал для робота. Если на страницу ссылаются только из одного раздела, эффект будет слабее.

Не все внутренние ссылки равноценны. Ссылка со страницы, которую робот посещает каждый час, даст гораздо больший эффект, чем ссылка со страницы, которая проверяется раз в неделю. Самый лучший вариант — поставить ссылку на новую публикацию с главной страницы, потому что робот заходит туда чаще всего. Или ссылки из свежих материалов, которые только что опубликованы и ещё не потеряли актуальность в глазах поисковой системы.

Когда вы выпускаете новую статью или добавляете товар, не просто кладите ссылку на него в карту сайта и ждите. Возьмите две-три самые посещаемые страницы вашего сайта, те, которые приносят больше всего трафика и чаще всего переобходятся роботом, и разместите на них ссылки на новинку. Это может быть раздел «актуальное» на главной, подвал на всех страницах или блок рекомендаций в конце популярной статьи.

Когда страницы сайта связаны в единую сеть, роботу не приходится каждый раз начинать обход с главной и пробираться сквозь глубинные разделы. Он может перейти на новую страницу из соседней, которая уже находится в его маршруте.

Например, вы добавили новость на сайт и поставили ссылку на неё из трёх недавних материалов. Робот приходит проверить эти материалы, видит ссылку и сразу же переходит на новость. В результате публикация попадает в индекс не за неделю, а за несколько часов.

Проверьте связность своей структуры. Для каждой новой страницы сделайте следующее:

Робот должен иметь возможность перемещаться между страницами свободно, не возвращаясь каждый раз на главную.

Текстовая ссылка, кнопка с ссылкой или изображение с прописанным атрибутом alt — с точки зрения обнаружения страницы разницы нет. Робот одинаково хорошо проходит по любому тегу с атрибутом href. Не стоит бояться, что кнопка или картинка замедлят индексацию.

Но есть один нюанс. Текст внутри ссылки, так называемый анкор, помогает роботу понять, о чём страница, на которую вы ссылаетесь. Если поставить ссылку с текстом «узнать подробности» вместо «зимние шины размер 16», робот увидит ссылку, но не поймёт тему целевой страницы. В результате сама страница может проиндексироваться быстро, а вот релевантные запросы она начнёт ловить с задержкой.

Запомните два простых правила для анкоров:

Простые и понятные тексты внутри ссылок помогут роботу быстрее классифицировать страницу, а значит, и показывать её по нужным запросам. Например, вместо «тут» напишите «как выбрать утеплитель для куртки». Вместо «ещё» — «модели с мембраной».

Новая страница не проиндексируется сама по себе, даже если вы отправили карту сайта в поисковую консоль. Робот должен наткнуться на ссылку где-то на уже известных страницах. Самый надёжный способ — разместить ссылку в блоках, которые появляются на страницах с высоким приоритетом обхода. Вот несколько рабочих вариантов:

Страницы, где вы размещаете эти блоки, робот посещает зачастую каждый день или даже каждый час. Как только он заходит на такую страницу, видит ссылку и сразу переходит на новую. В результате индексация новой страницы занимает не дни, а часы.

Ручная перелинковка подходит для небольших сайтов с десятком страниц. Когда у вас сотни или тысячи товаров и статей, вручную проставить все ссылки невозможно. Здесь выручает динамическая перелинковка — автоматические рекомендации на основе тегов, категорий или общих ключевых слов.

Настройте на своём сайте следующие механизмы:

Динамическая перелинковка не только экономит время, но и даёт роботу постоянно обновляемую сеть переходов. Каждая новая страница автоматически получает ссылки со всех смежных материалов. А это прямое ускорение индексации.

Сквозные блоки — это элементы, которые повторяются на большом количестве страниц, например, подвал (футер) или меню в боковой панели. Многие недооценивают их роль для индексации, а зря. Если вы поместите ссылку на важную новую страницу в подвал, который стоит на всех страницах сайта, робот увидит эту ссылку тысячу раз за один обход.

Какие сквозные блоки использовать для ускорения индексации:

Не перегружайте эти блоки. Достаточно одной-двух ссылок на самые свежие и приоритетные страницы. Сквозные блоки хороши именно точечно, а не как свалка всех ссылок подряд.

Есть распространённые ошибки, которые сводят на нет все усилия по перелинковке. Некоторые из них замедляют индексацию сильнее, чем полное отсутствие ссылок.

Первое — битые ссылки. Робот идёт по ссылке, попадает на страницу с ошибкой 404, тратит на это время и возвращается ни с чем. В результате бюджет краулинга расходуется впустую, а новые страницы остаются без внимания. Проверяйте сайт на битые ссылки хотя бы раз в месяц.

Второе — цепочки редиректов. Ссылка ведёт на страницу А, та отправляет на страницу Б, а Б — на страницу В. Робот делает три перехода вместо одного. Для одной ссылки это мелочь, но когда таких цепочек десятки, они серьёзно съедают бюджет обхода. Держите редиректы прямыми: со старого адреса сразу на конечный.

Третье — чрезмерно глубокая вложенность. Если новая страница находится на пятом или шестом клике от главной, робот просто не будет туда заходить при каждом визите. Правило простое: старайтесь, чтобы до любой новой страницы было не больше трёх кликов от главной. Исключения возможны для архивных материалов, которые не требуют быстрой индексации.

Выявить такие технические ошибки может помочь технический аудит. Например, сервис Rookee бесплатно анализирует сайты по 19 параметрам, включая корректность перелинковки и наличие битых ссылок.

Некоторые ставят nofollow на внутренние ссылки, думая, что так они сохраняют вес страницы. Это заблуждение. Для поискового робота ссылка с nofollow — это указание не передавать сигнал и не переходить по ней. В результате страница, на которую вы ведёте, не получает ни приоритета, ни самого факта обнаружения через эту ссылку.

Когда nofollow для внутренних ссылок действительно нужен:

Для всех навигационных и контекстных ссылок внутри сайта nofollow не нужен. Оставьте их обычными, без атрибутов. Так робот сможет свободно перемещаться по сайту и быстро находить новые страницы.