Einfache Erklärung
robots.txt ist eine Textdatei im Stammverzeichnis einer Website. Sie enthält Anweisungen für bestimmte Crawler und legt fest, welche Pfade besucht oder ausgelassen werden sollen.
Praktischer Nutzen
Die Datei hilft bei der Steuerung des Crawlings, beim Ausschluss technischer Bereiche und beim Hinweis auf die Sitemap. Sie schützt keine vertraulichen Daten und entfernt keine Adresse aus dem Index.
Entscheidung vor dem Start
Wir ordnen jede Regel einem konkreten Crawler, Pfad und System zu. Wir prüfen vor der Veröffentlichung, ob Stylesheets, Skripte, Produkte, Beiträge oder die gesamte Website versehentlich blockiert werden.
Häufiger Fehler
robots.txt als Ersatz für noindex oder als Sicherheitsmaßnahme zu verwenden ist ein Fehler. Die Datei ist öffentlich und eine gesperrte Adresse kann über externe Links weiterhin in Suchergebnissen erscheinen.
Ergebnis prüfen
Wir kontrollieren Syntax, Statuscode, wichtige Pfade, Sitemap und Serverprotokolle. Wir beobachten nach jeder Änderung, ob Google erforderliche Inhalte rendern und crawlen kann.
Fazit für Unternehmen
Eine kurze Regel kann Tausende Adressen betreffen. Bei PAR HOUSE Agency dokumentieren wir deshalb jede Entscheidung und prüfen das Crawling vor und nach technischen Änderungen.
