Jednoduché vysvětlení
robots.txt je textový soubor v hlavním adresáři webu. Obsahuje pokyny pro konkrétní roboty a určuje cesty, které mohou navštívit nebo mají vynechat.
Praktické využití
Pomáhá řídit procházení, omezit technické části a uvést umístění mapy webu. Nechrání soukromá data a neodstraňuje adresu z indexu.
Rozhodnutí před začátkem
Každé pravidlo přiřaďte konkrétnímu robotu, cestě a prostředí. Před zveřejněním ověřte, zda neblokuje styly, skripty, produkty, články nebo celý web.
Nejčastější chyba
Použít robots.txt místo noindex nebo jako bezpečnostní ochranu je chyba. Soubor je veřejný a blokovaná adresa se může ve výsledcích stále zobrazit díky externím odkazům.
Jak ověřit výsledek
Kontrolujte syntaxi, stavový kód, důležité cesty, mapu webu a záznamy serveru. Po každé změně sledujte, zda Google dokáže potřebný obsah vykreslit a projít.
Závěr pro firmu
Krátké pravidlo může ovlivnit tisíce adres. PAR HOUSE Agency proto dokumentuje každé rozhodnutí a ověřuje procházení před technickou změnou i po ní.
