Ein Crawler (engl. "to crawl"=kriechen, krabbeln), auch Webcrawler, Spider oder Robot genannt, ist ein von Suchmaschinen eingesetztes Programm, das sich selbstständig durch das Internet bewegt und die Inhalte von Webseiten analysiert. Crawler können auch E-Mail-Adressen, RSS-Newsfeeds oder andere Informationen aus dem World Wide Web filtern. Crawler existieren seit 1993 und wurden durch die steigende Popularität von Suchmaschinen immer weiter ausgebaut. Crawler agieren in aller Regel autonom und bewegen sich anhand von Hyperlinks durch das Internet. Neue Adressen werden dabei abgespeichert und einer Liste mit neuen URLs hinzugefügt. Diese Vorarbeit ist die Grundlage für die spätere Indexierung der verschiedenen Suchmaschinen. Crawler erfassen nicht die Webseiten des gesamten Internets, da sie weitestgehend nur über Links neue Seiten finden. Da es jedoch viele Seiten gibt, die nur über zugangsbeschränkte Portale oder Suchmasken aufrufbar sind, gelangen Crawler nur zu einem Teil aller Webseiten. Eine Indexierung bei den Suchmaschinen ist jedoch auch durch den Eintrag der Webseite bei der jeweiligen Suchmaschine möglich.