Czym jest crawl budget?

Crawl budget, czyli budżet indeksowania, to pojęcie określające liczbę stron danej witryny, które roboty wyszukiwarki Google są w stanie przeskanować i zaindeksować w określonym czasie. Odnosi się do sumy dwóch kluczowych elementów: crawl rate limit (limitu częstotliwości skanowania) oraz crawl demand (zapotrzebowania na skanowanie). Crawl rate limit to techniczna granica, która wyznacza, ile zapytań robot Google może wysłać do serwera, nie obciążając go nadmiernie. Crawl demand natomiast to zainteresowanie wyszukiwarki odświeżaniem poszczególnych stron, wynikające z ich popularności, aktualności lub znaczenia dla użytkowników Google Search Central.

W kontekście sklepów internetowych crawl budget nabiera szczególnego znaczenia. E-commerce to zazwyczaj złożone serwisy o dużej liczbie podstron — produktów, kategorii, filtrów i wersji językowych. Jeśli crawl budget zostanie wyczerpany na mniej wartościowe lub zduplikowane strony, kluczowe podstrony produktowe mogą zostać pominięte przez robota Google, co negatywnie wpływa na ich obecność w wynikach wyszukiwania Moz.

Zrozumienie i optymalizacja crawl budget staje się więc jednym z ważniejszych elementów skutecznej strategii SEO w e-commerce, pozwalając zapewnić, że najważniejsze treści sklepu będą regularnie indeksowane i widoczne dla użytkowników w wyszukiwarce Google.