Aller au contenu principal
Piloterr
Retour à la bibliothèque

API Website Crawler (POST)

Explorez sites web et endpoints API par URL et obtenez des réponses JSON structurées via POST.

Actif1 crédit = 1 requêtePOST/v2/website/crawler

Vue d'ensemble de l'endpoint

Documentation détaillée, tarifs et exemples d'utilisation.

Vue d'ensembleLink to Vue d'ensemble

L'API Website Crawler (POST) récupère des données depuis n'importe quelle URL de site web ou API et retourne la réponse en JSON structuré. Envoyez une requête POST avec l'URL cible dans query et recevez le contenu parsé.

Idéal pour monitoring API, pipelines de données et automatisation sans infrastructure de crawling dédiée.

Démarrage rapideLink to Démarrage rapide

POST https://api.piloterr.com/v2/website/crawler
Content-Type: application/json

{"query": "https://www.example.com/api/data"}

ParamètresLink to Paramètres

Paramètre Type Requis Description
query string oui URL cible (site web ou endpoint API)

POST uniquement.

Cas d'utilisation principauxLink to Cas d'utilisation principaux

  • Interroger APIs externes et sites web sans crawler interne
  • Alimenter pipelines de monitoring avec données web en direct
  • Intégration de données depuis endpoints non documentés
  • Prototypage et analyse de réponses d'APIs web

API associées

Étendez vos capacités data avec ces outils complémentaires.

Website Antibot/v2/website/antibot

Détectez quelle protection anti-bot protège un site avant de scraper. Obtenez le vendor, le niveau de confiance et les indices détectés en une requête.

GET1 crédit = 1 requêteActif
Website Crawler/v2/website/crawler

Récupérez des pages publiques en crawl HTTP rapide (sans JavaScript). Premier choix pour le HTML statique ou SSR ; passez à Rendering ou WebUnlocker si le JS ou l'anti-bot bloque.

GET1 crédit = 1 requêteActif
Website Email Phone Extractor/v2/website/email_phone_extractor

Extrayez les e-mails et numéros de téléphone de n'importe quel site web pour obtenir des informations de contact complètes, y compris les profils sur 12+ plateformes sociales.

GET1 crédit = 1 requêteActif
Website Rendering/v2/website/rendering

Rendez les pages JavaScript dans un navigateur headless et récupérez le HTML post-rendu. À utiliser quand Crawler renvoie un DOM vide ; passez à WebUnlocker si l'anti-bot bloque la session.

GET2 crédits = 1 requêteActif
Website Rendering Instructions (POST)/v2/website/rendering

Exécutez des instructions d'automatisation navigateur (scroll, scroll_to_bottom) pendant le rendu headless pour déclencher le contenu en lazy loading, contourner la détection de bots et données des pages chargées dynamiquement.

POST2 crédits = 1 requêteActif
Website Screenshot/v2/website/screenshot

Extrayez des données Website Screenshot pour intégration en temps réel, analyse de marché et automatisation.

GET2 crédits = 1 requêteActif
Website Technology/v2/website/technology

Identifiez les technologies derrière n'importe quel site web CMS, frameworks, analytics, CDN, hébergement: pour une analyse de marché concurrentielle.

GET1 crédit = 1 requêteActif
Website WebUnlocker/v2/website/webunlocker

Contournez les anti-bots avancés (Cloudflare, DataDome, Akamai, PerimeterX) sur domaines whitelistés. Combine rendu navigateur et unlock ; à utiliser après échec de Crawler et Rendering.

GET3 crédits = 1 requêteActif
Website WebUnlocker (POST)/v2/website/webunlocker

Envoyez des requêtes POST vers des sites ou APIs whitelistés via WebUnlocker pour contourner les protections anti-bot avancées et récupérer la réponse amont.

POST3 crédits = 1 requêteActif

Prêt à commencer ?

Votre API de scraping web est à un clic. Commencez avec +500 crédits, sans infrastructure à gérer, sans proxies à configurer, et sans carte bancaire.

  • +500 crédits
  • Aucune carte bancaire requise
  • Tous les endpoints inclus