Stacks IA
Web scraping multi-agents avec CrewAI et Piloterr
Donnez aux agents CrewAI des outils personnalisés qui appellent les API REST Piloterr. Les crews de recherche scrapent, enrichissent et synthétisent des données web en direct, sans fermes de navigateurs ni scrapers fragiles.
- Outils personnalisés pour n'importe quel endpoint Piloterr
- Agents par rôle : chercheur, analyste, rédacteur
- JSON structuré pour des sorties d'agents fiables
- Contournement anti-bot pour crews d'agents en production
En bref
Outils
capacités agent
Équipes
multi-agents
400+
sources de données
REST
API HTTP
Pourquoi connecter CrewAI
Crews de recherche
Un agent chercheur scrape via Piloterr, un agent analyste traite le JSON, et un agent rédacteur produit le rapport final.
Outils personnalisés
Définissez des fonctions @tool qui encapsulent des appels HTTP Piloterr, les agents les invoquent de façon autonome pendant les tâches.
Couche de données fiable
Les agents reçoivent du JSON structuré au lieu de parser du HTML, moins d'hallucinations, meilleures citations.
Évolutif avec les crédits
Payez par scrape réussi. Les requêtes échouées ne sont pas facturées, important quand les agents réessayent.
Workflows CrewAI + Piloterr
Patterns multi-agents pour études de marché, génération de leads et veille concurrentielle.
Crew d'étude de marché
Scrape SERP, actualités et pages concurrents, synthétise en document de briefing.
Crew d'enrichissement de leads
Lookup domaine → données entreprise → profil LinkedIn → lead scoré en sortie.
Crew de surveillance
Crew planifié vérifie les pages tarifaires et alerte quand des changements sont détectés.
Crew de due diligence
Scrape multi-sources pour recherche d'investissement ou de partenariat.
Pourquoi les crews ont besoin d'outils Piloterr
| Approche | Solution maison | Piloterr |
|---|---|---|
| Navigation web agent | Peu fiable sur sites protégés | API de scraping gérée |
| Outils scraper maison | Casse aux changements de layout | Schémas JSON stables |
| Outils navigateur headless | Exécution de crew lente | Réponses structurées rapides |
| Efficacité tokens | HTML brut dans le contexte | Champs JSON compacts |
Connecter CrewAI en quatre étapes
Étape 1
Installez CrewAI
pip install crewai requests
Étape 2
Obtenez votre clé API
Définissez PILOTERR_API_KEY dans votre environnement.
Obtenez votre clé APIÉtape 3
Définissez des outils de scraping
Créez des fonctions @tool qui appellent les endpoints Piloterr et renvoient du JSON.
Étape 4
Assignez les outils aux agents
Ajoutez les outils aux définitions d'agents et composez un Crew avec tâches et processus.
Exemples de workflows
Crew de veille concurrentielle
Le chercheur scrape les sites concurrents, l'analyste compare les tarifs, le rédacteur produit le rapport hebdomadaire.
Crew de scoring de leads
Outils d'enrichissement collectent entreprise + LinkedIn, l'agent scorer classe les leads.
Crew de due diligence
Scrape multi-sources pour recherche M&A avec sources citées.
Crew de veille marché hebdomadaire
Un planificateur lance un crew qui scrape actualités, concurrents et changements de tarifs pour un briefing du lundi.
Quand choisir CrewAI vs LangChain
Scénario
Workflows multi-agents par rôle
Recommandation: CrewAI
Scénario
Agent unique avec outils
Recommandation: LangChain
Scénario
Pipelines d'indexation RAG
Recommandation: LlamaIndex
Scénario
ETL en production à grande échelle
Recommandation: SDK Python
Exemple d'outil et de crew CrewAI
Un crew de recherche qui interroge Google News via Piloterr.
import os
import requests
from crewai.tools import tool
PILOTERR_KEY = os.environ["PILOTERR_API_KEY"]
BASE = "https://api.piloterr.com/v2"
@tool("Rechercher Google News")
def search_news(query: str) -> str:
"""Rechercher sur Google News et renvoyer titres, sources et extraits d'articles."""
response = requests.post(
f"{BASE}/google/news",
headers={"x-api-key": PILOTERR_KEY, "Content-Type": "application/json"},
json={"query": query, "location": "Paris, FR", "page": 1},
timeout=60,
)
response.raise_for_status()
results = response.json().get("organic_results", [])
return "\n".join(
f"- {r.get('title')} ({r.get('source')}): {r.get('snippet')}"
for r in results[:10]
)Voir aussi
LangChain
LlamaIndex
n8n
MakeTarification transparente en crédits
Payez uniquement les requêtes réussies. Commencez avec +500 crédits, puis évoluez avec des forfaits à partir de 49 $/mois.
Premium
$49/mois
18,000 crédits
Premium+
$99/mois
40,000 crédits
Startup
$249/mois
110,000 crédits