Robots.txt
Die robots.txt ist eine Textdatei mit Angaben zur Indexierung durch Robots (Crawler). Dort kann definiert werden, welche Dateien und Verzeichnisse indexiert werden dürfen und welche nicht.
Die Datei sollte auf alle Fälle angelegt werden, auch wenn zunächst keine spezifizierten Ausschlussanweisungen vorliegen.
Beispiele einer robots.txt
User-Agent: *
Disallow:
..alle Robots dürfen alle Dateien indexieren
User-Agent: *
Disallow: /*.gif$
..alle Robots dürfen alle Dateien indexieren ausser die mit der Endung .gif
User-Agent: *
Disallow: /
..alle Dateien werden von der Indexierung ausgeschlossen
User-Agent: Googlebot
Disallow: /
..Google darf keine einzige Datei indexieren, nur der Googlebot wird ausgeschlossen