Archivlink: javarea.de Forum > Talk Talk > Robtos.txt ?
Vollständigen Link anzeigen: javarea.de Forum > Talk Talk > Robtos.txt ?
Pages: [1]
| geschrieben von Oliver Pradetto am 22.05.2002 - 12:13 |
Meine Onlinestatistik weist aus, dass diese Seite:
http://www.blaudirekt.de/robots.txt
oft gesucht und nicht gefunden wird. Scheint ja etwas für Robots von Suchmaschinen zu sein.
Wie muß ich eine solche Textdatei füllen und welchen Nutzen habe ich dadurch?
Herzliche Grüße
Oliver |
| geschrieben von Junger Huepfer am 22.05.2002 - 13:43 |
Hab in meiner Statistik auch immer stehen, dass die Datei nicht gefunden wird!
Hab mich schon immer gefragt, wozu die da ist!
Würde mich echt auch mal interessieren!!! |
| geschrieben von Oliver Pradetto am 25.05.2002 - 11:26 |
Ich bin überrascht. Das weiß doch bestimmt jemand hier oder?
Herzliche grüße
Oliver |
| geschrieben von Martin am 25.05.2002 - 13:05 |
Ave Oliver,
Allgemeines zur robots.txt
Es gibt defacto-Standards im Internet, die einfach gewachsen sind, ohne es je zu einer RFC gebracht haben. Dazu gehört auch der Status, den die Datei robots.txt im Web hat. In einer Datei dieses Namens können Betreiber von Web-Projekten angeben, welcher Suchrobot welche Projektverzeichnisse auslesen darf und welcher was nicht lesen darf. Die Datei enthält also Anweisungen für Robots von Suchmaschinen. Die überwiegende Mehrheit der Robots moderner Suchmaschinen berücksichtigen das Vorhandensein einer robots.txt, lesen sie aus und befolgen die Anweisungen.
Zwar lässt sich auch in einzelnen HTML-Dateien mit Hilfe eines Meta-Tags für Suchprogramme das Auslesen erlauben bzw. verbieten. Doch das betrifft nur die jeweilige HTML-Datei und maximal alle weiteren, durch Verweise erreichbaren Dateien. In einer zentralen robots.txt können Sie dagegen unabhängig von der Datei- und Verweisstruktur Ihres Web-Projekts festlegen, welche Verzeichnisse und Verzeichnisbäume ausgelesen werden dürfen, und welche nicht.
Das Zitat stammt aus dem SelfHTML 8.0 Kompendium von Stefan Münz.
http://selfhtml.teamone.de/diverses\robots.htm
mfg martin |
| geschrieben von Oliver Pradetto am 26.05.2002 - 12:40 |
O.K. das heißt wenn es fehlt, dann suchen die Robots aber trotzdem und lesen halt alles oder wird dann nicht weiter gelesen?
Herzliche Grüße
Oliver |
| geschrieben von Martin am 26.05.2002 - 13:03 |
Ave Oliver,
ja richtig, die Robots der Suchmaschinen durchsuchen dann einfach alles nach brauchbaren Informationen. Die robots.txt bietet sich nur dann an wenn du halt irgendwelche temporären Dateien auf deinen Server hast welche nicht irgendwo in einer Suchmaschine auftauchen sollen.
mfg martin |
|