Os robôs de mecanismos de busca recebem instruções sobre quais páginas ou seções específicas de um site não devem ser indexadas por meio de um arquivo chamado Robots.txt. A maioria dos principais mecanismos de busca, incluindo Google, Bing e Yahoo, reconhece e segue as instruções do Robots.txt.
O que é robots.txt?