Un 'crawler', également appelé « araignée » ou « robot d’indexation », est un logiciel qui permet de parcourir des pages et des sites web sur Internet.
Il s’agit d’un processus continu et automatisé. Les résultats sont traités et indexés pour répondre aux requêtes lancées sur les moteurs de recherche. Les crawlers ou les araignées parcourent régulièrement les pages web pour actualiser leur index. Chaque moteur de recherche possède son propre crawler. Google utilise par exemple « GoogleBot ». Les crawlers des moteurs de recherche sont essentiels pour le référencement d’un site web. Si un site web ne peut pas être « crawlé » (autrement dit, « exploré »), il n’apparaîtra pas sur la page de résultats du moteur de recherche. S’assurer que les moteurs de recherche peuvent explorer un site web fait donc partie du référencement (SEO).
Des programmes informatiques déterminent les sites à explorer, la fréquence d’exploration et le nombre de pages à récupérer sur chaque site. La plupart des crawlers ne parcourent pas toutes les pages d’un même serveur web à la suite pour éviter que le serveur web en question soit surchargé.