Jak działają roboty indeksujące wyszukiwarki Google?

Aby zrozumieć wyszukiwarkę Google i to jak działa konieczne jest poznanie jednego z najważniejszych mechanizmów wyszukiwarki, czyli robotów indeksujących, zwanych także Crawlerami lub GoogleBotami. To od tego, jak szybko roboty indeksujące będą w stanie przejrzeć Twoją witrynę i jakich technologii użyłeś, zależy jak Twoja strona poradzi sobie w wynikach wyszukiwania. Zaczynamy!

Kurs SEO - jak skutecznie pozycjonować stronę

4.8

(109 opinii)

Zobacz jak zadbać o SEO i zapewnij swoje stronie wysoką pozycję w wyszukiwarce Dowiedz się więcej

Czym jest i jak działa GoogleBot?

GoogleBot to algorytm, który przemierza dokumenty w internecie, kataloguje je, zbiera i dodaje do indeksu wyszukiwarki Google tak, abyśmy mogli je znaleźć i przeglądać.

Wszystko zaczyna się tak naprawdę w momencie, kiedy GoogleBot otrzymuje zgłoszenie o nowej witrynie - właśnie w tej chwili Bot przystępuje do pracy. Informacje o nowej witrynie można dostać z dwóch miejsc:

• poprzez dodanie strony do Google Search Console i wybrania opcji pobierz jako GoogleBot,


• poprzez przejście na nasza stronę przez link z innej witryny.

Po odnalezieniu nowej strony, GoogleBot odwiedza ją. Rozpoczyna analizowanie naszej strony pod kątem dalszych linków wewnętrznych i zewnętrznych, czyli planuje sobie dalszą wędrówkę po naszych podstronach, lub witrynach, które linkujemy.

Kolejnym krokiem jest analiza podstron znalezionych przez GoogleBota pod kątem czynników rankingowych. Różne źródła w Google podają, że czynników takich może być między dwieście, a... pięćset! Sprawdzenie wartości naszej witryny pod względem czynników rankingowych będzie więc wymagało co najmniej kilku wizyt w naszej witrynie.

Robot przechodzi na kolejne linki i wykonuje kolejne analizy, sprawdzając czynniki rankingowe. Po wykonaniu wszystkich kroków GoogleBot kończy łańcuch zależności między linkami. Kiedy Bot stwierdzi, że nie ma już więcej podstron, do których może się udać zaczyna cały proces od nowa. Znaczy to tyle, że albo zaczyna cały łańcuch raz jeszcze od początku do końca, albo czeka na zgłoszenie o nowej witrynie i zaczyna całą analizę raz jeszcze dla nowego adresu.

Technologia ma znaczenie

Dla GoogleBota istotna jest też technologia wykorzystana w naszej witrynie. To od niej zależeć będzie, czy Bot będzie w stanie łatwo i przyjemnie zwiedzić naszą witrynę, zaindeksować treść i generalnie ją ocenić. Takie technologie jak HTML i CSS są bardzo dobrze interpretowane przez roboty Google i raczej bezbłędnie są one w stanie zweryfikować, czy coś powinno się znaleźć na stronie, czy też nie. Dzięki temu Bot wyszukuje też elementy ukryte na stronie – przez to jest w stanie wyłapać nieuczciwe techniki podbijania pozycji w wyszukiwarce, stosowane przez niektórych twórców stron.

Kurs Copywriting - jak tworzyć treści, które sprzedają

Zobacz kurs

Jak przyspieszać i optymalizować strony

Zobacz kurs

Kurs Google Analytics dla początkujących

Zobacz kurs

Ponieważ technologia JavaScript’owa staje się coraz popularniejsza, Google również stara się radzić z tym językiem programowania jak najlepiej. Co prawda, można założyć, że Boty radzą sobie w jakiś sposób z indeksacją plików JavaScript’owych oraz z kodem wynikowym, jakie te skrypty generują, jednak już bardziej skomplikowane rozwiązania w JS mogą przysporzyć GoogleBotowi trudności. Dlatego zaleca się, aby tworząc swoją witrynę pamiętać o tym, żeby mogła ona funkcjonować również bez włączonego JavaScriptu. Z jednej strony trzeba więc przygotować widok dla użytkownika, który wykorzystuje w pełni wszelkie dostępne technologie, a z drugiej strony – wersję dla Bota, który może obsłużyć jedynie okrojone wersje JavaScript.

W kwestii JS istnieje także szczególny przypadek rozwiązań opartych o ten język, są to tak zwane frameworki. Zyskują one coraz bardziej na popularności wśród twórców stron, ponieważ pozwalają w bardzo szybki sposób zbudować naprawdę rozbudowane witryny. Problemem jest jednak fakt, że w dużej mierze frameworki wykorzystują JavaScript – przez to trudno dostosować taką witrynę do wymagań Google. Ciężko jest też przekonać roboty indeksujące do przemierzania kolejnych podstron. Jest to niestety specyfika działań aplikacji framework’owych, ale z drugiej strony niski stopień zaawansowania robotów indeksujących pod kątem czytania kodu JavaScript.

Paradoksalnie, jeden z najpopularniejszych frameworków, czyli Angular.js został wyprodukowany przez inżynierów z Google! Mimo to, framework ten... nie posiada wbudowanej funkcji, która pozwalałaby na lepsze zbudowanie przyjaznej witryny pod roboty indeksujące. Jeśli więc posiadamy witrynę opartą o taki framework, to należy sprawdzić ją pod kątem przystosowania do robotów indeksujących. W przeciwnym wypadku istnieje bardzo duża szansa, że nasza strona nie zbuduje sobie dobrej widoczności lub w ogóle nie będzie widoczna w wynikach wyszukiwania.