Un bot que navega y cataloga contenido en línea se conoce como web crawler, a veces llamado araña web. Básicamente, los web crawlers son responsables de comprender el contenido de una página web para poder recuperarlo cuando se realiza una búsqueda.
¿Qué es el web crawling?