Le scraping de données salariales aide les entreprises à rester compétitives en comprenant les références de rémunération dans leur secteur. Il permet également aux candidats de prendre des décisions de carrière éclairées basées sur des données salariales réelles. Comparably est une ressource précieuse pour la transparence salariale, fournissant des informations sur la rémunération selon les entreprises et les départements. Cependant, extraire ces données par programmation peut s'avérer difficile en raison du chargement dynamique du contenu et des mesures anti-bot.
Rendez les pages salariales dynamiques avec l'API Website Rendering: voir aussi le navigateur headless.
Dans ce tutoriel, nous vous montrons comment scraper les données salariales de Comparably en utilisant Python et la puissante API Website Rendering de Piloterr.
Pourquoi utiliser Piloterr pour le scraping Comparably ?
Comparably utilise Angular et charge le contenu dynamiquement, ce qui rend les méthodes de scraping traditionnelles inefficaces. L'API de rendu navigateur de Piloterr résout ce problème en :
- Rendant le JavaScript : exécute entièrement l'application Angular
- Contournant la protection : gère Cloudflare et autres mesures anti-bot
- Instructions navigateur : permet le défilement pour déclencher le contenu lazy-loaded**
- Conditions d'attente : garantit que le contenu est entièrement chargé avant l'extraction
Prérequis
Avant de commencer, vous aurez besoin de :
Et d'une clé API Piloterr: inscrivez-vous sur Piloterr
Étape 1 : Récupérer le HTML rendu
Commençons par utiliser Piloterr pour obtenir le HTML entièrement rendu d'une page entreprise :
Cela indique au navigateur de scroll_to_bottom of the page sur une durée de 15 secondes, avec une pause de 2 secondes ensuite. Cela garantit que tout le contenu dynamique (notamment les sections chargées au scroll, comme les données salariales sur Comparably) est entièrement rendu avant la capture de la page.
Étape 2 : Script de scraping complet
Voici le script complet qui assemble l'ensemble :
Exemple de sortie
Lorsque vous exécutez ce script, vous obtenez des données structurées comme :
Cette approche vous donne un accès fiable aux données salariales de Comparably, idéal pour la recherche sur la rémunération, l'analyse de marché ou la construction d'outils de comparaison salariale.
