Daten sind zu einem der wertvollsten Vermögenswerte für jedes Unternehmen geworden. Zuverlässige und gut strukturierte Informationen über ein Unternehmen oder seine Wettbewerber können einen erheblichen strategischen Vorteil bieten. In diesem Tutorial werden wir untersuchen, wie man die Präzision von Google Dorks mit den Automatisierungsfähigkeiten der Piloterr APIs kombiniert, um öffentliche LinkedIn-Profil-Daten zu sammeln. Das Endergebnis wird ein strukturierter .json-Datensatz sein, der für die Analyse bereit ist.
Beginnen Sie mit der LinkedIn Company API oder erkunden Sie LinkedIn-Scraping-Endpunkte.
Anwendungsfall
Erstellen Sie eine Liste von Mitarbeitern eines bestimmten Unternehmens, um einen Datensatz für HR-Zwecke, Rekrutierungsbemühungen oder Analysen der Organisationsstruktur zu erstellen.
Wie funktioniert das?
- Verwenden Sie Google Dorks, um indizierte LinkedIn-Profillinks abzurufen
- Automatisieren Sie die Suche mit der Piloterr Google Search API
- Extrahieren Sie öffentliche Daten von LinkedIn-Profilen mit der Piloterr LinkedIn Profile API
- Führen Sie alle Informationen in einen sauberen Datensatz zusammen
Dieses Tutorial ist in zwei eigenständige Abschnitte unterteilt, die Sie in beliebiger Reihenfolge befolgen können:
- Schritt-für-Schritt-Anleitung: Wie man Google Dorks und Piloterr APIs verwendet.
- Vollständige Projektdurchführung: Klonen Sie das Repository und führen Sie das vollständige Skript aus.
Schritt-für-Schritt: Wie man Google Dorks und Piloterr APIs verwendet
In diesem Kapitel lernen wir, wie man Google Dork mit der Piloterr API und LinkedIn-Profil-Scraping verbindet, Schritt für Schritt.
Was ist ein Google Dork und warum ist er mächtig?
Google Dorks sind erweiterte Suchoperatoren, die helfen, Suchergebnisse zu filtern.
Google indiziert bereits Milliarden von Seiten, wir können dies nutzen, indem wir intelligente Abfragen erstellen.
Erstellen Sie einen Dork, um öffentliche LinkedIn-Profile im Zusammenhang mit Apple Inc. aufzulisten
Um einen Google Dork zu testen und auszuführen, benötigen wir lediglich eine Google-Suchleiste.
Beginnen wir mit der folgenden Beispielsyntax, um öffentliche LinkedIn-Profile im Zusammenhang mit „Apple Inc.“ aufzulisten:
Die Suche:
Wir erhalten eine Liste von Personen, die „Apple“ in ihrem LinkedIn-Profil haben.
Es ist kein Zauber, lassen Sie uns die Syntax aufschlüsseln, um zu verstehen, was passiert:
Suche nach LinkedIn-Profilen mit der Google Search API
Einrichten der Piloterr API-Anfrage:
Sobald Ihr Dork bereit ist, besteht der nächste Schritt darin, die Suche zu automatisieren.
Um die Anfrage abzuschließen:
- Fügen Sie den Google Dork in das Feld „query“ ein
- Fügen Sie Ihren API-Schlüssel im „x-api-key“-Header hinzu
- Setzen Sie Anfrageparameter (z. B. verwenden Sie page = 1, um die erste Seite abzurufen)
Parameter setzen:
Anfrage ausführen und Ergebnis ausgeben:
Herzlichen Glückwunsch, wir haben unsere ersten Daten:
Die Suchergebnisse mit Profil-Links sind im Schlüssel „organic_result“ gespeichert.
💡 Tipps: Weitere Parameter hier erkunden: Piloterr Google Search API-Dokumentation
Profil-Daten mit Links aus dem Google-Suchergebnis extrahieren
Die Google Search API gibt mehrere Schlüssel zurück, wie pagination, search_parameters, search_information und organic_results.
Wir sind jedoch nur an den Profil-Links interessiert, die unter organic_results gefunden werden.
Speichern wir den ersten Link in profile_url, indem wir auf results[0]['link'] zugreifen.
Senden Sie dann diesen Link an die Piloterr LinkedIn Profile API mit dem Abfrageparameter.
Parameter der Anfrage setzen
Anfrage stellen und Ergebnisse ausgeben:
Führen Sie die Anfrage aus und geben Sie das Ergebnis aus, und das war's! Sie haben jetzt öffentliche Daten von einem echten LinkedIn-Profil:
💡 Tipps: Vollständige API-Referenz hier: Piloterr LinkedIn API-Dokumentation
Projekt klonen und das vollständige Skript ausführen
Projekt erhalten
Abhängigkeiten einrichten:
Ihren API-Schlüssel einrichten
Kopieren Sie die Beispiel-Anmeldedatei, indem Sie den folgenden Befehl ausführen:
Bearbeiten Sie 'credential.py' und fügen Sie Ihren API-Schlüssel ein (falls Sie keinen API-Schlüssel haben, müssen Sie sich bei Piloterr registrieren):
Wählen Sie Ihr Zielunternehmen und setzen Sie Limits für die Ergebnisse
Unternehmen:
Das Standard-Zielunternehmen ist in main.py auf Apple Inc. eingestellt. Sie können es nach Belieben ändern:
Limit für Google-Ergebnisse:
Die Google-Suche kann mehrere Ergebnisseiten zurückgeben. Passen Sie den Suchbereich und die Links an, um Ressourcen und Zeit zu optimieren:
Pipeline ausführen:
Dies wird:
- Eine Google Dork-Suche für das angegebene Unternehmen durchführen
- LinkedIn-Profil-Details abrufen
- Diese in
output/linkedin_profile_dataset.jsonexportieren
Einzelnes Profil zum Debuggen testen (optional)
Test() ist eine spezielle Funktion in main.py, die entwickelt wurde, um den Workflow Schritt für Schritt zu testen und zu debuggen.
Um den Test auszuführen, verwenden Sie einfach:
Jetzt sind Sie bereit, die Extraktion öffentlicher LinkedIn-Mitarbeiterdaten mit einem sauberen und wiederverwendbaren Skript zu automatisieren.
