La communauté open source est très dynamique, surtout à l'heure où l'IA est omniprésente et exige des volumes de données toujours plus importants pour ses modèles. Cette tendance a entraîné une hausse des activités de web scraping, mais aussi le développement de mesures anti-bot plus avancées. Dans ce contexte, voici quelques-unes des bibliothèques Python les plus remarquables pour exploiter l'IA dans le web scraping et contourner les protections anti-bot.
Évitez la pile de bibliothèques: utilisez le contournement anti-bot avec 500 endpoints de la bibliothèque inclus.
ScrapeGraphAI
Avec ScrapeGraphAI, vous pouvez connecter le LLM de votre choix (en local ou en ligne) et :
- Extraire des données d'une ou plusieurs pages en définissant un schéma de données cible.
- Extraire des données à partir des résultats des moteurs de recherche.
- Générer des fichiers audio à partir des données extraites d'un site web.
- Générer automatiquement du code Python pour votre scraper en utilisant des bibliothèques comme BeautifulSoup.
Bien que les LLM deviennent plus abordables et précis, leurs temps de réponse restent peu adaptés aux projets de web scraping en production. À mon avis, le meilleur usage de cette technologie dans le scraping consiste à écrire et corriger automatiquement le code du scraper, en laissant l'exécution aux frameworks actuels. Ils travaillent également à l'extraction de données depuis des documents locaux, ce que j'attends avec impatience. Vous pouvez suivre leur avancement en rejoignant leur serveur Discord.
Scrapoxy
Vous connaissez peut-être Fabien Vauchelles, créateur de Scrapoxy, pour ses conférences éclairantes sur les bots et les technologies anti-bot lors d'événements et webinaires dédiés au web scraping. Scrapoxy est un puissant agrégateur de proxies qui vous permet de gérer des proxies provenant de différents fournisseurs: gratuits et commerciaux.
Ce qui distingue Scrapoxy, c'est sa gestion innovante des proxies datacenter. En créant et en faisant tourner des machines virtuelles sur différents fournisseurs cloud, Scrapoxy vous permet de construire un pool d'IP quasi infini avec une bande passante illimitée. De plus, il ne se limite pas à cette fonctionnalité : en utilisant un seul endpoint dans vos scrapers, vous pouvez combiner différents fournisseurs et types de proxies, renforçant ainsi vos capacités de scraping.
Botasaurus
Botasaurus est un autre framework robuste qui mérite d'être exploré. Il prend en charge la création de scrapers headless et headful. Lors de mes premiers tests il y a quelques mois, Botasaurus a démontré sa capacité à contourner la détection de Cloudflare et d'autres systèmes anti-bot, bien qu'il présente certaines limites.
Lors de l'exécution d'un scraper headful depuis un datacenter, Botasaurus manque actuellement d'options avancées pour masquer l'empreinte de votre navigateur, ce qui peut conduire à des blocages. Malgré cela, c'est un outil à surveiller.
Nodriver
Nodriver succède à Undetected-Chromedriver et élimine le besoin de Selenium et de webdrivers. Entièrement asynchrone, il offre un outil rapide pour le scraping, nativement optimisé pour rester indétectable par la plupart des solutions anti-bot: le tout en quelques lignes de code. Vous pouvez également gérer différents profils, fournissant tout le nécessaire à vos scrapers. Il inclut en outre des utilitaires pour la recherche intelligente d'éléments, la gestion de session et l'intégration transparente avec les instances undetected_chromedriver existantes, ce qui en fait un outil polyvalent et puissant pour les tâches web automatisées.
Undetected Playwright
Undetected Playwright est un patch que vous pouvez appliquer à vos scrapers Playwright pour améliorer leur indétectabilité face aux systèmes anti-bot. Nous avons vu ce patch en action dans un article sur les techniques de détection CDP, où il a considérablement amélioré les performances de nos scrapers pour contourner ces méthodes anti-bot de plus en plus courantes.
Camoufox
Camoufox est un navigateur actuellement en développement, récemment partagé sur notre serveur Discord par son auteur. Il semble très prometteur. Construit sur Firefox, l'auteur a supprimé les fonctionnalités superflues et ajouté le masquage TLS, Browserforge pour modifier l'empreinte du navigateur, et plusieurs autres fonctionnalités. Les tests menés sur des sites reconnus comme Browserscan semblent prometteurs, et j'ai hâte de l'essayer.
