Ein Bot, der Webinhalte durchsucht und katalogisiert, wird als Web-Crawler oder manchmal auch als Web-Spider bezeichnet. Im Wesentlichen sind Web-Crawler dafür verantwortlich, Inhalte auf einer Webseite zu verstehen, damit sie diese abrufen können, wenn eine Suche durchgeführt wird.
Was ist Web-Crawling?