############################################################# ## Infos ## ## http://de.wikipedia.org/wiki/Robots_Exclusion_Standard ## ############################################################# ## Beispiel: Anweisung für Sidewinder ## ######################################## ##User-agent: Sidewinder #Disallow: / 'komplette Webpräsenz #Disallow: /default.html 'default.html #Disallow: 'Erlaubnis alle #Disallow: /default 'Alle Dateien und Verzeichnisse, die mit „default“ beginnen #Allow: /public/ 'Nur das Verzeichnis „public“ darf durchsucht werden ## Anweisung für alle Crawler ## User-agent: * Disallow: /