Co je crawler
Crawler je program, který navštěvuje webové adresy a čte jejich obsah, odkazy a technické informace. Vyhledávače jej používají k objevování stránek před indexací. Vlastní crawlery pomáhají také s auditem, monitoringem a migrací webu.
Jak objevuje adresy
Robot sleduje interní a externí odkazy, mapy webu a dříve známé adresy. Stránka bez příchozího odkazu může zůstat obtížně dostupná. Parametry, filtry a nekonečné kalendáře naopak mohou vytvářet velké množství zbytečných kombinací.
Robots, canonical a stavové kódy
Pravidla robots řídí procházení, ale sama bezpečně neodstraňují adresu z indexu. Canonical označuje preferovanou verzi a není bezpodmínečným příkazem. Stavový kód musí odpovídat skutečnému výsledku, například úspěchu, přesměrování nebo chybě.
Kapacita a šetrné procházení
Frekvence požadavků respektuje výkon serveru a pravidla provozovatele. Agresivní crawler může zpomalit web nebo zkreslit analytiku. Auditní nástroj používá omezení rychlosti, jednoznačnou identifikaci a přesně vymezený rozsah.
Co technický audit odhalí
Procházení ukáže nefunkční odkazy, řetězce přesměrování, duplicity, chybějící metadata, osiřelé stránky a rozdíly mezi jazykovými verzemi. Výsledek se ověřuje s logy, indexací a šablonami, protože samotný seznam adres nevysvětluje příčinu.
Přístup PAR HOUSE Agency
Crawler používáme jako jednu vrstvu technické diagnostiky. Porovnáváme strukturu webu, mapy, canonical, hreflang a skutečné odpovědi serveru. Opravy řadíme podle dopadu na uživatele, indexaci a bezpečnost, nikoli podle počtu upozornění v nástroji.
