KI-Stacks
Multi-Agent-Web-Scraping mit CrewAI und Piloterr
Geben Sie CrewAI-Agenten benutzerdefinierte Tools, die Piloterr-REST-APIs aufrufen. Forschungsteams scrapen, anreichern und synthetisieren Live-Webdaten – ohne Browser-Farmen oder fragile Scraper.
- Benutzerdefinierte Tools für jeden Piloterr-Endpoint
- Rollenbasierte Agenten: Forscher, Analyst, Autor
- Strukturiertes JSON für zuverlässige Agentenausgaben
- Anti-Bot-Umgehung für produktive Agententeams
Auf einen Blick
Tools
Agentenfähigkeiten
Crews
Multi-Agent-Teams
500
Datenquellen
REST
HTTP-API
Warum CrewAI verbinden?
Forschungsteams
Ein Forscher-Agent scrapet über Piloterr, ein Analyst-Agent verarbeitet JSON und ein Autor-Agent erstellt den endgültigen Bericht.
Benutzerdefinierte Tools
Definieren Sie @tool-Funktionen, die Piloterr-HTTP-Aufrufe umschließen. Agenten rufen sie während der Aufgaben autonom auf.
Zuverlässige Datenebene
Agenten erhalten strukturiertes JSON anstelle von HTML-Parsing – weniger Halluzinationen, bessere Quellenangaben.
Skalierung mit Credits
Zahlen Sie pro erfolgreicher Scraping-Anfrage. Fehlgeschlagene Anfragen werden nicht berechnet – wichtig, wenn Agenten erneut versuchen.
CrewAI + Piloterr-Workflows
Multi-Agent-Muster für Marktforschung, Lead-Generierung und Wettbewerbsanalyse.
Marktforschungsteam
Scrapen Sie SERP, Nachrichten und Wettbewerberseiten und fassen Sie sie in einem Briefing-Dokument zusammen.
Lead-Anreicherungsteam
Domain-Lookup → Firmendaten → LinkedIn-Profil → bewerteter Lead-Output.
Überwachungsteam
Ein geplantes Team überprüft Preisseiten und warnt bei Änderungen.
Due-Diligence-Team
Multi-Source-Scraping für Investitions- oder Partnerschaftsrecherchen.
Warum Teams Piloterr-Tools benötigen
| Ansatz | Eigene Lösung | Piloterr |
|---|---|---|
| Agenten-Web-Browsing | Unzuverlässig auf geschützten Seiten | Verwaltete Scraping-API |
| DIY-Scraper-Tools | Brechen bei Layout-Änderungen | Stabile JSON-Schemata |
| Headless-Browser-Tools | Langsame Teamausführung | Schnelle strukturierte Antworten |
| Token-Effizienz | Rohes HTML im Kontext | Kompakte JSON-Felder |
CrewAI in vier Schritten verbinden
Schritt 1
CrewAI installieren
pip install crewai requests
Schritt 2
Ihren API-Schlüssel abrufen
Setzen Sie PILOTERR_API_KEY in Ihrer Umgebung.
Ihren API-Schlüssel abrufenSchritt 3
Scraping-Tools definieren
Erstellen Sie @tool-Funktionen, die Piloterr-Endpoints aufrufen und JSON zurückgeben.
Schritt 4
Tools Agenten zuweisen
Fügen Sie Tools zu Agentendefinitionen hinzu und erstellen Sie ein Team mit Aufgaben und Prozessen.
Workflow-Rezepte
Wettbewerbsanalyse-Team
Ein Forscher scrapet Wettbewerberseiten, ein Analyst vergleicht Preise, ein Autor erstellt einen wöchentlichen Bericht.
Lead-Bewertungsteam
Anreicherungstools sammeln Firmendaten + LinkedIn-Daten, ein Bewerter-Agent stuft Leads ein.
Due-Diligence-Team
Multi-Source-Scraping für M&A-Zielrecherchen mit zitierten Quellen.
Wöchentliches Marktanalyse-Team
Ein Scheduler startet ein Team, das Nachrichten, Wettbewerber und Preisänderungen scrapet und in ein Montagsbriefing zusammenfasst.
Wann CrewAI vs. LangChain wählen?
Szenario
Multi-Agent-Workflows mit Rollen
Empfehlung: CrewAI
Szenario
Einzelner Agent mit Tools
Empfehlung: LangChain
Szenario
RAG-Indexierungspipelines
Empfehlung: LlamaIndex
Szenario
Produktions-ETL im großen Maßstab
Empfehlung: Python SDK
Beispiel für CrewAI-Tool und -Team
Ein Forschungsteam, das über Piloterr Google News durchsucht.
import os
import requests
from crewai.tools import tool
PILOTERR_KEY = os.environ["PILOTERR_API_KEY"]
BASE = "https://api.piloterr.com/v2"
@tool("Search Google News")
def search_news(query: str) -> str:
"""Search Google News and return article titles, sources, and snippets."""
response = requests.post(
f"{BASE}/google/news",
headers={"x-api-key": PILOTERR_KEY, "Content-Type": "application/json"},
json={"query": query, "location": "Paris, FR", "page": 1},
timeout=60,
)
response.raise_for_status()
results = response.json().get("organic_results", [])
return "\n".join(
f"- {r.get('title')} ({r.get('source')}): {r.get('snippet')}"
for r in results[:10]
)Siehe auch
LangChain
LlamaIndex
n8n
MakeTransparente Credit-Preise
Zahlen Sie nur für erfolgreiche Anfragen. Starten Sie mit +500 Credits, dann skalieren Sie mit Plänen ab 49 $/Monat.
Premium
$49/Monat
18,000 Credits
Premium+
$99/Monat
40,000 Credits
Startup
$249/Monat
110,000 Credits
Bereit loszulegen?
Ihre Web-Scraping-API ist nur einen Klick entfernt. Starten Sie mit +500 Credits, ohne Infrastruktur einrichten zu müssen, ohne Proxys zu verwalten und ohne Kreditkarte.
- +500 Credits
- Keine Kreditkarte erforderlich
- Alle Endpunkte enthalten