Robots.txt

Es un archivo de texto con extensión .txt, que creamos y subimos a nuestra web, para impedir que los robots de los buscadores rastreen contenido que no deseamos que indexen ni muestren en sus resultados. En él, podemos especificar de manera sencilla, los directorios, subdirectorios, URLs o archivos de nuestra web que no deberían ser rastreados o indexados por los buscadores.