Robot d'indexation (crawler)

Un robot d'indexation est un programme, souvent appelé bot ou robot, qui parcourt de manière systématique le Web pour collecter des données à partir des pages web. Les moteurs de recherche utilisent généralement des robots d'indexation pour construire leurs index.