Crawl budget to termin wykreowany przez branżę SEO w celu wskazania szeregu powiązanych pojęć i systemów, które są wykorzystywane przez wyszukiwarki internetowe przy podejmowaniu decyzji o tym, ile i które strony witryny należy indeksować w pierwszej kolejności. Jest to w zasadzie uwaga, jaką wyszukiwarki internetowe poświęcą Twojej stronie, co może wpływać na jej pozycje w wynikach wyszukiwania.
Dlaczego wyszukiwarki internetowe przydzielają określoną uwagę do poszczególnych stron i ich indeksowania? Ponieważ nie mają one nieograniczonych zasobów i dzielą swoje zadania na miliony różnych stron internetowych. Potrzebują więc sposobu, aby nadać priorytet swojemu wysiłkowi indeksowania. Przypisanie określonego „budżetu” do każdej strony internetowej pomaga im w tym. Jak wyszukiwarka przypisuje ilość uwagi do indeksowania poszczególnych stron internetowych? Jest to oparte na dwóch czynnikach limicie czasu i zasobów oraz chwilowemu zapotrzebowaniu.
Crawl budget nie dotyczy samych stron. W rzeczywistości brany jest pod uwagę każdy dokument, który wyszukuje się w wyszukiwarkach: pliki CSS i JavaScript, dokumenty PDF, mobilne warianty stron itd.
Limit zasobów pracy wyszukiwarki i obciążenie hosta, jest ważną częścią crawl budget’u. Wyszukiwarki są zaprojektowane tak, aby zapobiec przeciążeniu serwera internetowego poprzez swoje żądania wykonania danych procesów. Algorytmy działają tak, aby nie przeciążyć danego host, ani swojego systemu.
Jak wyszukiwarki określają swoje limity? Istnieje wiele czynników wpływających na prędkość indeksowania. Oto dwa z nich:
Indeksowanie stron polega również na określeniu wartości danej witryny i nadaniu jej priorytetowi. Ponownie, wiele czynników wpływa na określenie popytu na treść strony na pełzanie wśród których:
Podczas gdy systemy indeksujące w wyszukiwarkach mają ogromne możliwości przerobowe, mogą być one czasowo ograniczone czasem pracy ludzkich pracowników. Kiedy część centrów danych Google przechodzi w tryb offline, ich przepustowość indeksowania znacznie spada, a w konsekwencji crawl bugdet wszystkich stron internetowych.
Każdy właściciel witryny internetowej chce, aby algorytmy wyszukiwarki znalazły i zrozumiały jak najwięcej z jego strony i zindeksowały ją jak najszybciej, dzięki czemu będzie ona wyżej pozycjonowana. Kiedy dodajesz nowe strony i aktualizujesz istniejące, chcesz, aby wyszukiwarka zajęła się nimi jak najprędzej. Im szybciej strony zostaną zindeksowane, tym szybciej możesz z nich skorzystać.
Jeśli marnujesz budżet na indeksowanie, wyszukiwarki nie będą w stanie sprawnie przeszukiwać Twojej strony. Spędzą czas na tych częściach Twojej strony, które nie mają znaczenia, co może spowodować, że ważne części Twojej strony pozostaną nieodkryte. Jeśli nie będą wiedzieć o stronach, nie będą się czołgać i indeksować ich, a Ty nie będziesz w stanie doprowadzić odwiedzających przez wyszukiwarki do nich. Nie wykorzystywanie crawl bugdetu szkodzi wydajności SEO.
Crawl budget może stanowić spory, jeśli masz dużą witrynę stronę internetową, powiedzmy 10,000 stron i więcej.
Spośród wszystkich wyszukiwarek, Google jest najbardziej przejrzysty pod względem crawl bugdet’u dla Twojej strony internetowej. Jeśli Twoja strona została zweryfikowana w Google Search Control, możesz uzyskać wgląd w crawl budget Twojej strony internetowej dla Google.
Bardzo interesujące jest sprawdzenie logów serwera, aby zobaczyć jak często wyszukiwarki Google wyświetlają w Twoją stronę. Interesujące jest porównanie tych statystyk z tymi, które są raportowane w konsoli wyszukiwania Google. Zawsze lepiej jest polegać na wielu źródłach.
Optymalizacja crawl budget’u sprowadza się do zapewnienia, że procesy indeksowania Twojej witryny odbędą się szybko i prawidłowo. Zasadniczo, należy ustalić przyczyny, dla których limit indeksowania może być niższy, niż oczekujemy. Monitorując inne strony internetowe i porównując się, możemy szybko zauważyć pewien wzorzec, który dotyka większość stron internetowych mających problem z crawl budget’em.