Über eine Datei namens Robots.txt werden Suchmaschinen-Spider angewiesen, bestimmte Seiten oder Abschnitte einer Website nicht zu indexieren. Die meisten wichtigen Suchmaschinen, einschließlich Google, Bing und Yahoo, kennen und befolgen die Anweisungen in der Robots.txt.
Was ist robots.txt?