Google ha pubblicato sul suo blog ufficiale in italiano una guida all’uso di “robots.txt”, il file che permette di controllare come i motori di ricerca accedono al proprio sito web.

“Il contenuto del web è enorme – spiegano da Google – e il tuo sito, a confronto, è come un piccolo sacchetto di brustoline… :). I motori di ricerca come Google leggono tutte queste informazioni e ne creano un indice. Tale indice è come un grosso database, ed è ciò che permette a un motore di ricerca di mostrare la pagina dei risultati, una volta che gli utenti effettuano una ricerca per determinate parole chiave. Può capitare, però, che nel tuo sito ci siano delle pagine che non vuoi far diventare ‘ricercabili’”.

Qui interviene, così, il file “robots.txt”, che va caricato nella cartella principale del sito. Il file conterrà una lista di pagine alle quali i motori di ricerca non dovranno accedere. Per sapere come crearlo e utilizzarlo vengono consigliati il sito Robotstxt.org e il Centro assistenza per webmasters di Google.