Das Scrapen von Gehaltsdaten hilft Unternehmen, wettbewerbsfähig zu bleiben, indem sie Einblicke in die Vergütungsstandards verschiedener Branchen erhalten. Es ermöglicht auch Arbeitssuchenden, fundierte Karriereentscheidungen auf der Grundlage realer Gehaltsinformationen zu treffen. Comparably ist eine wertvolle Ressource für Gehaltstransparenz und bietet Einblicke in die Vergütung verschiedener Unternehmen und Abteilungen. Die programmatische Extraktion dieser Daten kann jedoch aufgrund des dynamischen Ladens von Inhalten und Anti-Bot-Maßnahmen eine Herausforderung darstellen.
Rendern Sie dynamische Gehaltsseiten mit der Website-Rendering-API: siehe auch Headless-Browser.
In diesem Tutorial zeigen wir Ihnen, wie Sie Gehaltsdaten von Comparably mit Python und der leistungsstarken Website-Rendering-API von Piloterr scrapen können.
Warum Piloterr für das Scrapen von Comparably verwenden?
Comparably verwendet Angular und lädt Inhalte dynamisch, was herkömmliche Scraping-Methoden unwirksam macht. Die Browser-Rendering-API von Piloterr löst dieses Problem, indem sie:
- JavaScript rendert: Führt die Angular-Anwendung vollständig aus
- Schutzmaßnahmen umgeht: Behandelt Cloudflare und andere Anti-Bot-Maßnahmen
- Browser-Anweisungen ermöglicht: Erlaubt das Scrollen, um lazy-loaded Inhalte zu triggern
- Wartebedingungen bietet: Stellt sicher, dass Inhalte vollständig geladen sind, bevor sie extrahiert werden
Voraussetzungen
Bevor Sie beginnen, benötigen Sie:
Und einen Piloterr API-Schlüssel - melden Sie sich unter Piloterr an
Schritt 1: Abrufen des gerenderten HTML
Lassen Sie uns zunächst Piloterr verwenden, um das vollständig gerenderte HTML einer Unternehmensseite zu erhalten:
Dies weist den Browser an, scroll_to_bottom der Seite über eine Dauer von 15 Sekunden zu scrollen, mit einer 2 Sekunden Pause danach. Es stellt sicher, dass alle dynamischen Inhalte - insbesondere Abschnitte, die beim Scrollen geladen werden, wie Gehaltsdaten auf Comparably - vollständig gerendert werden, bevor die Seite erfasst wird.
Schritt 2: Vollständiges Scraping-Skript
Hier ist das vollständige Skript, das alles zusammenführt:
Beispielausgabe
Wenn Sie dieses Skript ausführen, erhalten Sie strukturierte Daten wie:
Dieser Ansatz gibt Ihnen zuverlässigen Zugang zu den Gehaltsdaten von Comparably und ist perfekt für Vergütungsrecherchen, Marktanalysen oder den Aufbau von Gehaltsvergleichstools.
