Crawl Budget und Serverlogs analysieren

Viele Crawlerbesuche bedeuten nicht automatisch gute Sichtbarkeit. Logs zeigen angefragte URLs und Serverantworten. Erst daraus lässt sich ableiten, ob Umfang, Verfügbarkeit oder Adressstruktur das Problem verursachen.

Prüfen, ob das Thema relevant ist

Googles fortgeschrittene Crawl-Budget-Hinweise richten sich hauptsächlich an große oder häufig aktualisierte Websites. Eine kleine Leistungswebsite braucht kein umfangreiches Projekt, nur weil der Begriff im Audit steht. Der Umfang folgt einem bestätigten Symptom.

Dokumentation: Google Crawling Infrastructure.

Einen Zeitraum festlegen

Wir wählen einen repräsentativen Zeitraum und dokumentieren Grenzen der Logs. Wichtig sind URL, Antwort und Bearbeitungszeit. Eine beliebige Namensangabe im Anfrageheader allein bestätigt keine Crawleridentität.

Adressmuster suchen

Wir gruppieren gültige Seiten, Fehler, Weiterleitungen und Parameterkombinationen. Filter und Sortierung können beispielsweise viele URLs für ähnliche Listen erzeugen. Vor Änderungen prüfen wir deren Rolle für Nutzer und Suchmaschinen.

Die Ursache unnötiger Anfragen beheben

Die Empfehlung benennt einen Mechanismus: einen fehlerhaften Link, eine unnötige Weiterleitungskette oder eine inkonsistente Seitenliste. Pauschale Sperren erfolgen nicht ohne Prüfung der dadurch unzugänglichen Materialien.

Ergebnisse statt nur Anfragen zählen

Nach der Änderung prüfen wir den Zugriff auf wichtige Adressen und bekannte Fehler. Zeitraum und Katalogänderungen werden dokumentiert. Mehr Anfragen sind kein Selbstzweck, wenn der Server die richtigen Inhalte effizienter bereitstellt.