http://www.ihredomain/robots.txt aufrufbar sein. Die robots.txt wird von fast allen Suchmaschinen-Bots bei jedem Besuch ausgewertet. Die Datei ist dafür gedacht, um bestimmte Seiteninhalte von der Indizierung in Suchmaschinen fernzuhalten.
Welchen Inhalt sollte die robots.txt haben?
Wenn Sie der Suchmaschine bzw. dem Spider Ihrer gesamten Site auslesen lassen wollen, hat die robots.txt folgenden Inhalt:
