El archivo Robots.txt indica a los rastreadores de motores de búsqueda qué páginas o secciones específicas de un sitio web no deben ser indexadas. La mayoría de los principales motores de búsqueda, como Google, Bing y Yahoo, reconocen y siguen las instrucciones de Robots.txt.
¿Qué es robots.txt?