Um bot que navega e cataloga conteúdo online é chamado de web crawler, às vezes conhecido como aranha da web. Em essência, os web crawlers são responsáveis por compreender o conteúdo de uma página da web para que possam recuperá-lo quando uma pesquisa for realizada.
O que é web crawling?