Spiegazione semplice
robots.txt è un file di testo nella directory principale del sito. Contiene istruzioni per crawler specifici e indica i percorsi che possono visitare o devono ignorare.
Utilità pratica
Aiuta a gestire la scansione, limitare aree tecniche e segnalare la posizione della mappa del sito. Non protegge dati riservati e non rimuove un indirizzo dall’indice.
Decisione prima di iniziare
Colleghiamo ogni regola a un crawler, un percorso e un ambiente precisi. Prima della pubblicazione verifichiamo che non blocchi stili, script, prodotti, articoli o l’intero sito.
Errore frequente
Usare robots.txt al posto di noindex o come misura di sicurezza è un errore. Il file è pubblico e un indirizzo bloccato può ancora comparire nei risultati tramite link esterni.
Come verificare il risultato
Controlliamo sintassi, codice di risposta, percorsi importanti, mappa del sito e registri del server. Dopo ogni modifica verifichiamo che Google possa visualizzare e scansionare i contenuti necessari.
Conclusione per l’azienda
Una regola breve può interessare migliaia di indirizzi. In PAR HOUSE Agency documentiamo ogni decisione e verifichiamo la scansione prima e dopo ogni modifica tecnica.
