# robots.txt fuer http://www.miditation.de/
User-agent: *
Disallow:   /temp/       # Die Dateien sind sehr kurzlebig
Disallow:   /logfiles/   # Die ändern sich jeden Tag
Disallow:   /photos/     # Bilder nicht downloaden
Disallow:   /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow:   /news.html   # Die news.html ändert sich täglich
Disallow:   /midimembs/ 

#Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow:   /cgi-bin/
Disallow:   /photos/
Disallow:   /midimembs/