Ein Web-Crawler, auch bekannt als Spider oder Spiderbot, ist ein Computerprogramm, das das Web durchforstet, indem es Webseiten herunterlädt und Daten aus ihnen extrahiert. Er kann für verschiedene Zwecke eingesetzt werden, z. B. zur Indizierung von Webseiten, zum Sammeln von Daten für Suchmaschinen oder zur Überwachung von Websites auf Aktualisierungen. Web-Crawler sind in der Regel so programmiert, dass sie bestimmte Websites oder Links besuchen und automatisch Informationen von ihnen sammeln.