Crawl Budget a analýza serverových logov

Mnoho návštev robotov neznamená dobrú viditeľnosť. Logy ukazujú požadované adresy a odpovede servera. Pomáhajú rozlíšiť ťažkosti s rozsahom, dostupnosťou a štruktúrou.

Overte relevantnosť problému

Pokročilé pokyny Googlu k rozpočtu prechádzania sa týkajú najmä veľkých alebo často aktualizovaných webov. Malý web služieb nepotrebuje rozsiahly projekt len preto, že sa pojem objavil v audite.

Dokumentácia: Google Crawling Infrastructure.

Určte obdobie

Volíme reprezentatívny interval a vysvetľujeme obmedzenia logov. Dôležitá je adresa, odpoveď a čas spracovania. Ľubovoľný názov v hlavičke nepotvrdzuje totožnosť robota.

Hľadajte vzory adries

Zoskupujeme platné stránky, chyby, presmerovania a parametre. Filtre a radenie môžu vytvárať mnoho adries podobných zoznamov. Pred zmenou overujeme ich úlohu pre ľudí a vyhľadávače.

Opravte príčinu

Odporúčanie určuje mechanizmus: chybný odkaz, zbytočný reťazec presmerovaní alebo nesúrodý zoznam. Nezavádzame plošné blokovanie bez vyhodnotenia dotknutých zdrojov.

Porovnajte výsledky

Potom kontrolujeme dostupnosť dôležitých adries a známe chyby. Dokumentujeme obdobie a zmeny katalógu. Viac požiadaviek nie je cieľom, ak server lepšie poskytuje správny obsah.