Een 'crawler', ook wel 'spider' of 'zoekbot' genoemd, is een stuk software waarmee pagina’s en websites op het internet doorgezocht worden.
Dit is een continu en geautomatiseerd proces. De resultaten worden verwerkt en geïndexeerd om zoekopdrachten te kunnen beantwoorden in zoekmachines. Crawlers of spiders doorbladeren op regelmatige basis webpagina's om hun index actueel te houden. Elke zoekmachine heeft een eigen crawler. Zo heeft Google “GoogleBot”. De crawlers van zoekmachines zijn cruciaal voor de vindbaarheid van een website. Wanneer een website niet gecrawld kan worden zal deze ook niet verschijnen in de resultatenpagina van de zoekmachine. Ervoor zorgen dat de zoekmachines een website goed kunnen crawlen is een onderdeel van zoekmachine optimalisatie (SEO).
Computerprogramma’s bepalen welke sites worden gecrawld, hoe vaak ze worden gecrawld en hoeveel pagina’s worden opgehaald van elke site. De meeste crawlers vragen de pagina's van één webserver niet allemaal achter elkaar op om te voorkomen dat de betreffende webserver overbelast raakt.