Pilhas de IA
Web scraping multi-agente com CrewAI e Piloterr
Dê aos agentes do CrewAI ferramentas personalizadas que chamam as APIs REST do Piloterr. Equipes de pesquisa raspam, enriquecem e sintetizam dados da web ao vivo, sem fazendas de navegadores ou scrapers frágeis.
- Ferramentas personalizadas para qualquer endpoint do Piloterr
- Agentes baseados em funções: pesquisador, analista, escritor
- JSON estruturado para saídas confiáveis de agentes
- Bypass de anti-bot para equipes de agentes em produção
Visão geral
Ferramentas
capacidades do agente
Equipes
times multi-agente
500
fontes de dados
REST
API HTTP
Por que conectar CrewAI
Equipes de pesquisa
Um agente pesquisador raspa via Piloterr, um agente analista processa o JSON e um agente escritor produz o relatório final.
Ferramentas personalizadas
Defina funções @tool que envolvem chamadas HTTP do Piloterr, os agentes as invocam autonomamente durante as tarefas.
Camada de dados confiável
Os agentes recebem JSON estruturado em vez de analisar HTML, menos alucinações, melhores citações.
Escala com créditos
Pague por raspagem bem-sucedida. Requisições falhas não são cobradas, importante quando os agentes tentam novamente.
Fluxos de trabalho CrewAI + Piloterr
Padrões multi-agente para pesquisa de mercado, geração de leads e inteligência competitiva.
Equipe de pesquisa de mercado
Raspa SERP, notícias e páginas de concorrentes, sintetiza em um documento informativo.
Equipe de enriquecimento de leads
Consulta de domínio → dados da empresa → perfil do LinkedIn → saída de lead pontuado.
Equipe de monitoramento
Equipe agendada verifica páginas de preços e alerta quando mudanças são detectadas.
Equipe de due diligence
Raspagem multi-fonte para pesquisa de investimento ou parceria.
Por que as equipes precisam de ferramentas do Piloterr
| Abordagem | Solução própria | Piloterr |
|---|---|---|
| Navegação web do agente | Não confiável em sites protegidos | API de scraping gerenciada |
| Ferramentas de scraper DIY | Quebram com mudanças de layout | Esquemas JSON estáveis |
| Ferramentas de navegador headless | Execução lenta da equipe | Respostas estruturadas rápidas |
| Eficiência de tokens | HTML bruto no contexto | Campos JSON compactos |
Conecte o CrewAI em quatro etapas
Passo 1
Instale o CrewAI
pip install crewai requests
Passo 2
Obtenha sua chave de API
Defina PILOTERR_API_KEY no seu ambiente.
Obtenha sua chave de APIPasso 3
Defina ferramentas de scraping
Crie funções @tool que chamam endpoints do Piloterr e retornam JSON.
Passo 4
Atribua ferramentas aos agentes
Adicione ferramentas às definições de agentes e componha uma Equipe com tarefas e processo.
Receitas de fluxo de trabalho
Equipe de inteligência competitiva
Pesquisador raspa sites de concorrentes, analista compara preços, escritor produz relatório semanal.
Equipe de pontuação de leads
Ferramentas de enriquecimento coletam dados da empresa + LinkedIn, agente pontuador classifica leads.
Equipe de due diligence
Raspagem multi-fonte para pesquisa de M&A com fontes citadas.
Equipe semanal de inteligência de mercado
Agendador inicia uma equipe que raspa notícias, concorrentes e mudanças de preços em um resumo de segunda-feira.
Quando escolher CrewAI vs LangChain
Cenário
Fluxos de trabalho multi-agente baseados em funções
Recomendação: CrewAI
Cenário
Agente único com ferramentas
Recomendação: LangChain
Cenário
Pipelines de indexação RAG
Recomendação: LlamaIndex
Cenário
ETL em produção em escala
Recomendação: Python SDK
Exemplo de ferramenta e equipe do CrewAI
Uma equipe de pesquisa que busca notícias no Google via Piloterr.
import os
import requests
from crewai.tools import tool
PILOTERR_KEY = os.environ["PILOTERR_API_KEY"]
BASE = "https://api.piloterr.com/v2"
@tool("Buscar Notícias no Google")
def search_news(query: str) -> str:
"""Buscar notícias no Google e retornar títulos, fontes e trechos dos artigos."""
response = requests.post(
f"{BASE}/google/news",
headers={"x-api-key": PILOTERR_KEY, "Content-Type": "application/json"},
json={"query": query, "location": "Paris, FR", "page": 1},
timeout=60,
)
response.raise_for_status()
results = response.json().get("organic_results", [])
return "\n".join(
f"- {r.get('title')} ({r.get('source')}): {r.get('snippet')}"
for r in results[:10]
)Veja também
LangChain
LlamaIndex
n8n
MakePreços transparentes por crédito
Pague apenas por requisições bem-sucedidas. Comece com +500 créditos, depois escale com planos a partir de $49/mês.
Premium
$49/mês
18,000 créditos
Premium+
$99/mês
40,000 créditos
Startup
$249/mês
110,000 créditos
Pronto para começar?
Sua API de web scraping está a um clique. Comece com +500 créditos, sem infraestrutura para configurar, sem proxies para gerenciar e sem cartão de crédito necessário.
- +500 créditos
- Sem cartão de crédito
- Todos os endpoints incluídos