Crawl Budget a analýza serverových logů

Mnoho návštěv robotů neznamená dobrou viditelnost. Logy ukazují požadované adresy a odpovědi serveru. Pomáhají rozlišit potíže s rozsahem, dostupností a strukturou.

Ověřte relevanci problému

Pokročilé pokyny Googlu k rozpočtu procházení se týkají hlavně velkých nebo často aktualizovaných webů. Malý web služeb nepotřebuje rozsáhlý projekt jen proto, že se pojem objevil v auditu.

Dokumentace: Google Crawling Infrastructure.

Určete období

Volíme reprezentativní interval a vysvětlujeme omezení logů. Důležitá je adresa, odpověď a doba zpracování. Libovolný název v hlavičce nepotvrzuje totožnost robota.

Hledejte vzory adres

Seskupujeme platné stránky, chyby, přesměrování a parametry. Filtry a řazení mohou vytvářet mnoho adres podobných seznamů. Před změnou ověřujeme jejich roli pro lidi a vyhledávače.

Opravte příčinu

Doporučení určuje mechanismus: chybný odkaz, zbytečný řetězec přesměrování nebo nesourodý seznam. Nezavádíme plošnou blokaci bez vyhodnocení dotčených zdrojů.

Porovnejte výsledky

Poté kontrolujeme dostupnost důležitých adres a známé chyby. Dokumentujeme období a změny katalogu. Více požadavků není cíl, pokud server lépe poskytuje správný obsah.