Специалист по Гуглу, Гэри Илш поделился некоторыми тонкостями работы бюджета индексации (краулинга). Он дал пояснения, что влияет на активность роботов в анализе сайтов и дал веб-мастерам рекомендации по оптимизации процесса.

В первую очередь стоит отметить, что беспокоиться о данном параметре стоит только сайтам-гигантам, так как мелкие ресурсы могут умещаться в некоторый стандартный объем запросов. В частности, воздействие бюджета индексации будет влиять на скорость, если сайт насчитывает огромное количество страниц (особенно, если они генерируются на ходу).

Бюджет индексации и ограничение скорости в данном случае необходимы во избежание лишней нагрузки на сервера. А для заказа хостинга или домена можете воспользоваться услугами компании http://rx-name.ua.

Стоит также добавить, что спрос на сайт определяется и популярностью страниц в индексе, а также актуальностью данных на нем. Бюджет при этом определяется количеством просканированных Гуглом количеством адресов за 24 часа, высчитывается он в зависимости от спроса и настроек скорости сканирования.

Что может привести к потере бюджета индексации сайта?

• Низкокачественный контент или спам;
• Дублированный контент;
• Фасетная навигация и злоупотребление идентификаторами сессии;
• Программные ошибки 404;
• Бесконечные URL (к примеру, календари);
• Взломанные страницы.

Если говорить проще, роботам Гугла придется тратить время на добавленные страницы, на основные же времени может и не остаться, и данные в индекс будут приходить с задержкой. Это не повлияет на ранжирование, но новый контент будет появляться в выдаче с задержкой и пользователи не смогут увидеть его некоторое время. Важный фактор, увеличивающий бюджет сканирования – высокая скорость работы сайта.

Быстрая загрузка положительно воспринимается роботом, и доступный бюджет сканирования может быть увеличен. Если же загрузка происходит медленно, часто встречаются ошибки, а на загрузку страниц тратится по несколько секунд, робот и вовсе может оставить сайт «на потом». Чтобы этого не происходило, веб-мастерам лучше следить за качеством сканирования: это можно сделать в Search Console, где нужно найти отчет «Ошибки сканирования».

Стоит добавить, что в бюджет индексации входят все без исключения URL с домена. В сканер уходит абсолютно все: контент, AMP, альтернативные URL и даже цепочки редиректов. Исключением могут оказаться ссылки, которые скрыты за разными триггерами. Директиву crawl-delay Google не распознает: так что при продвижении в этом поисковике она бесполезна. Nofollow учитывается лишь в паре с конкретной ссылкой: к примеру, если переход с одной страницы был закрыт nofollow, а с другой нет – страница все-таки попадет роботам.