Was ist ein Webcrawler?
Bei einem Webcrawler (auch Spider oder Bot) handelt es sich um ein Programm, das vor allem von Suchmaschinen eingesetzt wird, um automatisiert das World Wide Web zu durchsuchen und Webseiten zu analysieren. Der Suchmaschinen-Webcrawler folgt dabei Hyperlinks und gewichtet Webseiten anhand gewisser Kriterien wie Linktext und Anzahl der Backlinks (vgl. PageRank).
Webcrawler können mit Hilfe der robots.txt und dem robots-Meta-Tag vom Durchsuchen und Indizieren bestimmter Webseiten abgehalten werden.
Die Konfiguration der robots.txt und der Meta-Tags gehört natürlich auch zu meinen Dienstleistungen.
Jetzt unverbindlich informieren: +43 (0)676 9 45 25 45
