Jednoduché vysvetlenie
robots.txt je textový súbor v koreňovom adresári webu. Obsahuje pokyny pre konkrétne roboty a určuje cesty, ktoré môžu navštíviť alebo majú vynechať.
Praktické využitie
Pomáha riadiť prehľadávanie, obmedziť prístup robotov k technickým častiam a uviesť umiestnenie mapy webu. Nechráni súkromné údaje a sám neodstraňuje adresy z indexu.
Rozhodnutia pred zavedením
Každé pravidlo priraďte ku konkrétnemu robotu, ceste a prostrediu. Pred zverejnením overte, či neblokuje štýly, skripty, produkty, články alebo celý web.
Najčastejšia chyba
Použiť robots.txt namiesto noindex alebo ako bezpečnostnú ochranu je chyba. Súbor je verejný a blokovaná adresa sa môže vo výsledkoch stále zobrazovať vďaka externým odkazom.
Ako overiť výsledok
Kontrolujte syntax, stavový kód, dôležité cesty, mapu webu a záznamy servera. Po každej zmene overte, či Google dokáže potrebný obsah vykresliť a prehľadať.
Prístup PAR HOUSE Agency
Krátke pravidlo môže ovplyvniť tisíce adries. Preto dokumentujeme každé rozhodnutie a overujeme prehľadávanie pred technickou zmenou aj po nej.
