Crawl Budget i analiza logów serwera

Duża liczba odwiedzin robota nie oznacza automatycznie dobrej widoczności. Analiza logów pomaga zobaczyć, które adresy są pobierane i jak odpowiada serwer. Dopiero wtedy można ocenić, czy problemem jest skala, dostępność czy struktura adresów.

Sprawdź, czy problem dotyczy Twojej strony

Google kieruje zaawansowane wskazówki dotyczące crawl budget przede wszystkim do dużych lub często aktualizowanych serwisów. Mała strona usługowa nie potrzebuje rozbudowanego projektu tylko dlatego, że pojęcie pojawia się w audycie. Zakres dobieramy do potwierdzonego objawu.

Dokumentacja: Google Crawling Infrastructure.

Zbierz dane z określonego okresu

Wybieramy reprezentatywny przedział czasu i zapisujemy ograniczenia logów. Interesuje nas adres, odpowiedź i czas obsługi żądania. Tożsamości robota nie potwierdzamy wyłącznie na podstawie dowolnej nazwy wysłanej w nagłówku.

Szukaj wzorców adresów

Grupujemy poprawne podstrony, błędy, przekierowania i warianty parametrów. Przykładowo filtr i sortowanie mogą tworzyć wiele adresów prowadzących do podobnych list. Zanim zmienimy ich obsługę, sprawdzamy rolę tych widoków dla użytkownika i wyszukiwarki.

Napraw źródło zbędnych wizyt

Zalecenie powinno wskazywać konkretny mechanizm: link generujący błędny adres, niepotrzebny łańcuch przekierowań albo niespójną listę podstron. Nie wprowadzamy zbiorowej blokady bez oceny, jakie materiały przestaną być dostępne.

Porównaj wynik, nie samą liczbę żądań

Po zmianie sprawdzamy, czy poprawiła się obsługa potrzebnych adresów i zmniejszyły się rozpoznane błędy. Zapisujemy okres porównania oraz zmiany katalogu. Więcej pobrań nie musi być celem, jeśli serwer sprawniej obsługuje właściwe treści.