Was ist die robots.txt-Datei?
Die robots.txt ist eine Datei, mit der Webcrawlern (bspw. von Suchmaschinen) der Zugriff auf gewisse Dateien, Webseiten und Unterverzeichnisse einer Website verboten oder erlaubt werden kann. Die robots.txt liegt im Stammverzeichnis eines Webauftritts und wird dort von Crawlern ausgelesen.
Beispielsweise kann mit folgendem Text dem Webcrawler "UbiCrawler" der Zugriff auf den gesamten Webauftritt untersagt werden:
User-agent: UbiCrawler
Disallow: /
Die Konfiguration der robots.txt gehört selbstverständlich auch zu meinen Dienstleistungen.
Jetzt unverbindlich informieren: +43 (0)676 9 45 25 45
