User-agent: * Disallow: /logs/ # Diese Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die Logfiles ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht indexieren (z.B. Google Bildersuche) Disallow: /cgi-bin/ # CGI Scripte nicht indexieren Disallow: /usage/ Disallow: /images/ Disallow: /temp/ Disallow: /admin/ Disallow: /sound/ Disallow: /galerie/