Jednoduché vysvětlení
robots.txt je textový soubor v hlavním adresáři webu. Obsahuje pokyny pro konkrétní roboty a určuje cesty, které mohou navštívit nebo mají vynechat.
Praktické využití
Pomáhá řídit procházení, omezit technické části a uvést umístění mapy webu. Nechrání soukromá data a neodstraňuje adresu z indexu.
Rozhodnutí před začátkem
Každé pravidlo přiřazujeme konkrétnímu robotu, cestě a prostředí. Před zveřejněním ověřujeme, zda neblokuje styly, skripty, produkty, články nebo celý web.
Nejčastější chyba
Použít robots.txt místo noindex nebo jako bezpečnostní ochranu je chyba. Soubor je veřejný a blokovaná adresa se může ve výsledcích stále zobrazit díky externím odkazům.
Jak ověřit výsledek
Kontrolujeme syntaxi, stavový kód, důležité cesty, mapu webu a záznamy serveru. Po každé změně sledujeme, zda Google dokáže potřebný obsah vykreslit a projít.
Závěr pro firmu
Krátké pravidlo může ovlivnit tisíce adres. V PAR HOUSE Agency proto dokumentujeme každé rozhodnutí a ověřujeme procházení před technickou změnou i po ní.
