Crawl Budget – co to jest i jak wpływa na pozycjonowanie

No Comments

Crawl budget to termin wykreowany przez branżę SEO w celu wskazania szeregu powiązanych pojęć i systemów, które są wykorzystywane przez wyszukiwarki internetowe przy podejmowaniu decyzji o tym, ile i które strony witryny należy indeksować w pierwszej kolejności. Jest to w zasadzie uwaga, jaką wyszukiwarki internetowe poświęcą Twojej stronie, co może wpływać na jej pozycje w wynikach wyszukiwania.

Dlaczego wyszukiwarki internetowe przydzielają określoną uwagę do poszczególnych stron i ich indeksowania? Ponieważ nie mają one nieograniczonych zasobów i dzielą swoje zadania na miliony różnych stron internetowych. Potrzebują więc sposobu, aby nadać priorytet swojemu wysiłkowi indeksowania. Przypisanie określonego „budżetu” do każdej strony internetowej pomaga im w tym. Jak wyszukiwarka przypisuje ilość uwagi do indeksowania poszczególnych stron internetowych? Jest to oparte na dwóch czynnikach limicie czasu i zasobów oraz chwilowemu zapotrzebowaniu.

Crawl Budget - co to jest i jak wpływa na pozycjonowanie
Crawl Budget – co to jest i jak wpływa na pozycjonowanie

Crawl budget nie dotyczy samych stron. W rzeczywistości brany jest pod uwagę każdy dokument, który wyszukuje się w wyszukiwarkach: pliki CSS i JavaScript, dokumenty PDF, mobilne warianty stron itd.

Jak Crawl Budget działa w praktyce?

Limit zasobów pracy wyszukiwarki i obciążenie hosta, jest ważną częścią crawl budget’u. Wyszukiwarki są zaprojektowane tak, aby zapobiec przeciążeniu serwera internetowego poprzez swoje żądania wykonania danych procesów. Algorytmy działają tak, aby nie przeciążyć danego host, ani swojego systemu.

Jak wyszukiwarki określają swoje limity? Istnieje wiele czynników wpływających na prędkość indeksowania. Oto dwa z nich:

  • Zły stan platformy – dotyczy to adresów URL pełnych błędów i tych przekraczających limit czasu wyszukiwania. 
  • Ilość stron internetowych działających na jednym serwerze – jeśli Twoja witryna działa na wspólnej platformie hostingowej z setkami innych stron internetowych, a Twoja strona jest dość duża limit indeksowania będzie mocno ograniczony, ponieważ jest zależny od obciążenia Twojego hosta. Wyszukiwarka musi podzielić zasoby pracy między wszystkie witryny działające na nim. W tym przypadku dobrym rozwiązaniem będzie umieszczenie Twojej strony na serwerze dedykowanym, co najprawdopodobniej również znacznie zmniejszy obciążenie strony wywołane liczbą odwiedzających. Inną rzeczą do rozważenia jest posiadanie oddzielnej witryn mobilnej i tej dla urządzeni stacjonarnych. Obie mogą działać na tym samym hoście. Niestety mają one również wspólny limit indeksowania, co warto mieć na uwadze.

Indeksowanie stron polega również na określeniu wartości danej witryny i nadaniu jej priorytetowi. Ponownie, wiele czynników wpływa na określenie popytu na treść strony na pełzanie wśród których:

  • Popularność – wewnętrzne i zewnętrzne połączenia przychodzące na dany adres URL, ale także ilość zapytań o stronę i jej miejsce w rankingu. 
  • Świeżość – czyli to, jak często dany adres jest aktualizowany.
  • Typ strony – Weźmy na przykład stronę z kategorią produktu oraz stronę z warunkami użytkownika – która według Ciebie zmienia się częściej i zasługuje na większą uwagę?

Podczas gdy systemy indeksujące w wyszukiwarkach mają ogromne możliwości przerobowe, mogą być one czasowo ograniczone czasem pracy ludzkich pracowników. Kiedy część centrów danych Google przechodzi w tryb offline, ich przepustowość indeksowania znacznie spada, a w konsekwencji crawl bugdet wszystkich stron internetowych.

Dlaczego miałbyś się przejmować crawl bugdet’em?

Każdy właściciel witryny internetowej chce, aby algorytmy wyszukiwarki znalazły i zrozumiały jak najwięcej z jego strony i zindeksowały ją jak najszybciej, dzięki czemu będzie ona wyżej pozycjonowana. Kiedy dodajesz nowe strony i aktualizujesz istniejące, chcesz, aby wyszukiwarka zajęła się nimi jak najprędzej. Im szybciej strony zostaną zindeksowane, tym szybciej możesz z nich skorzystać.

Jeśli marnujesz budżet na indeksowanie, wyszukiwarki nie będą w stanie sprawnie przeszukiwać Twojej strony. Spędzą czas na tych częściach Twojej strony, które nie mają znaczenia, co może spowodować, że ważne części Twojej strony pozostaną nieodkryte. Jeśli nie będą wiedzieć o stronach, nie będą się czołgać i indeksować ich, a Ty nie będziesz w stanie doprowadzić odwiedzających przez wyszukiwarki do nich. Nie wykorzystywanie crawl bugdetu szkodzi wydajności SEO.

Crawl budget może stanowić spory, jeśli masz dużą witrynę stronę internetową, powiedzmy 10,000 stron i więcej.

Crawl Budget a SEO
Crawl Budget a SEO

Jaki jest crawl budget dla mojej strony internetowej?

Spośród wszystkich wyszukiwarek, Google jest najbardziej przejrzysty pod względem crawl bugdet’u dla Twojej strony internetowej. Jeśli Twoja strona została zweryfikowana w Google Search Control, możesz uzyskać wgląd w crawl budget Twojej strony internetowej dla Google.

Bardzo interesujące jest sprawdzenie logów serwera, aby zobaczyć jak często wyszukiwarki Google wyświetlają w Twoją stronę. Interesujące jest porównanie tych statystyk z tymi, które są raportowane w konsoli wyszukiwania Google. Zawsze lepiej jest polegać na wielu źródłach.

Jak zoptymalizować swój indeksowanie mojej strony?

Optymalizacja crawl budget’u sprowadza się do zapewnienia, że procesy indeksowania Twojej witryny odbędą się szybko i prawidłowo. Zasadniczo, należy ustalić przyczyny, dla których limit indeksowania może być niższy, niż oczekujemy. Monitorując inne strony internetowe i porównując się, możemy szybko zauważyć pewien wzorzec, który dotyka większość stron internetowych mających problem z crawl budget’em.

Najczęstsze powody zmarnowanego potencjału crawl budget’u to:

  • Adresy URL z niepotrzebnymi parametrami – Na przykład adresu podstrony katalogu, który przechowuje dane filtra wyborów produktu użytkownika. 
  • Duplikat treści – strony, które są do siebie bardzo podobne, lub dokładnie takie same. Przykładami są skopiowane strony lub wewnętrzne strony wyników wyszukiwania i strony tagów. 
  • Zawartość niskiej jakości – Algorytm wyszukiwarki umie znaleźć strony o bardzo małej zawartości lub te które będą nieciekawe i nieprzydatne dla odwiedzającego. W Erze internetu schludna i merytoryczna strona internetowa to podstawa dla działalności w każdej dziedzinie. 
  • Uszkodzone linki przekierowujące : uszkodzone linki to linki odsyłające do stron, które już nie istnieją lub są niepoprawne. (Też zauważyliście, że to częsta przypadłość witryn rządowych i urzędowych?) 
  • Umieszczanie nieprawidłowych adresów URL w mapach sytuacyjnych XML. 
  • Strony z wysokim czasem ładowania — strony, które ładują się zbyt długo lub nie ładują się wcale, mają negatywny wpływ na crawl budget i prawdopodobnie ogólny wizerunek naszej działalności. Wolna strona internetowa to znak dla wyszukiwarek, że Twoja strona nie może obsłużyć żądań użytkowników, a więc zmniejsza priorytet indeksowania tej witryny. 
  • Duża liczba stron, których nie da się zindeksować – witryna może zawierać wiele stron, które są nieindeksowanie. 
  • Zła struktura linków wewnętrznych: – jeśli struktura linków wewnętrznych nie jest ustawiona poprawnie, wyszukiwarki mogą nie zwracać wystarczającej uwagi na niektóre z Twoich stron.

Crawl Budget – Martin Splitt i Alexis Sanders

No Comments

O nas i o blogu

Jesteśmy firmą zajmującą się marketingiem cyfrowym, koncentrującą się na pomocy naszym klientom w osiągnięciu doskonałych rezultatów w kilku kluczowych obszarach.

Prośba o darmową wycenę

Oferujemy profesjonalne usługi SEO, dzięki którym znacznie poprawiają się wyniki wyszukiwania organicznego stron internetowych, co pozwala im na ubieganie się o najwyższe miejsca w rankingach, nawet jeśli chodzi o bardzo konkurencyjne słowa kluczowe.

Zapisz się do newslettera!



Więcej aktualności

Pokaż wszystko