Crawl Budget és szervernapló-elemzés

A sok robotlátogatás nem jelent jó láthatóságot. A naplók megmutatják a kért címeket és a szerver válaszait. Segítenek elkülöníteni a terjedelmi, elérhetőségi és szerkezeti problémákat.

Ellenőrizze a probléma relevanciáját

A Google fejlett crawl budget útmutatója főként nagy vagy gyakran frissülő webhelyekre vonatkozik. Egy kis szolgáltatói oldalnak nem kell kiterjedt projekt csak azért, mert a fogalom megjelent egy auditban.

Dokumentáció: Google Crawling Infrastructure.

Határozza meg az időszakot

Reprezentatív időszakot választunk, és ismertetjük a naplók korlátait. A cím, a válasz és a feldolgozási idő számít. Egy tetszőleges fejlécnév nem igazolja a robot személyazonosságát.

Keressen címmintákat

Csoportosítjuk az érvényes oldalakat, hibákat, átirányításokat és paramétereket. A szűrés és rendezés sok hasonló lista-URL-t hozhat létre. Változtatás előtt ellenőrizzük szerepüket az emberek és keresők számára.

Javítsa ki az okot

A javaslat konkrét mechanizmust nevez meg: hibás linket, felesleges átirányítási láncot vagy következetlen listát. Nem vezetünk be általános tiltást az érintett erőforrások hatásának értékelése nélkül.

Hasonlítsa össze az eredményt

Ezután ellenőrizzük a fontos címek elérhetőségét és az ismert hibákat. Dokumentáljuk az időszakot és a katalógus változásait. A több kérés nem cél, ha a szerver a megfelelő tartalmat megbízhatóbban szolgálja ki.