Crawl Budget e analisi dei log del server

Molte visite dei crawler non implicano buona visibilità. I log mostrano indirizzi richiesti e risposte. Aiutano a distinguere problemi di scala, disponibilità e struttura.

Verificare la pertinenza

La guida avanzata di Google sul budget di scansione riguarda soprattutto siti grandi o aggiornati spesso. Un piccolo sito di servizi non necessita di un vasto progetto solo perché il termine compare in un audit.

Documentazione: Google Crawling Infrastructure.

Definire un periodo

Scegliamo un intervallo rappresentativo e spieghiamo i limiti dei log. Contano indirizzo, risposta e tempo di gestione. Un nome arbitrario nell’intestazione non conferma l’identità del crawler.

Cercare schemi negli indirizzi

Raggruppiamo pagine valide, errori, reindirizzamenti e parametri. Filtri e ordinamenti possono generare molti indirizzi di liste simili. Prima di intervenire ne valutiamo il ruolo per persone e motori.

Correggere l’origine

La raccomandazione identifica il meccanismo: link errato, catena inutile di reindirizzamenti o elenco incoerente. Non blocchiamo indiscriminatamente senza valutare quali risorse diventerebbero inaccessibili.

Confrontare gli esiti

Dopo controlliamo gli indirizzi utili e gli errori individuati. Documentiamo periodo e cambiamenti del catalogo. Più richieste non sono un obiettivo se il server fornisce meglio i contenuti giusti.