Robots.txt est un fichier qui indique aux robots des moteurs de recherche quelles pages ou sections d'un site web ne doivent pas être indexées. La plupart des moteurs de recherche majeurs, dont Google, Bing et Yahoo, reconnaissent et respectent les instructions Robots.txt.
Qu'est-ce que robots.txt ?