Zum Hauptinhalt springen
Piloterr
Zurück zur Bibliothek

API Website Crawler (POST)

Webseiten und API-Endpunkte per URL crawlen und strukturierte JSON-Antworten per POST abrufen.

Aktiv1 Credit = 1 AnfragePOST/v2/website/crawler

Endpunkt-Übersicht

Detaillierte Dokumentation, Preise und Anwendungsbeispiele.

ÜberblickLink to Überblick

Die Website Crawler (POST) API ruft Daten von beliebigen Webseiten- oder API-URLs ab und gibt die Antwort als strukturiertes JSON zurück. Senden Sie eine POST-Anfrage mit der Ziel-URL unter query und erhalten Sie den geparsten Inhalt.

Ideal für API-Monitoring, Daten-Pipelines und Automatisierung ohne eigene Crawler-Infrastruktur.

SchnellstartLink to Schnellstart

POST https://api.piloterr.com/v2/website/crawler
Content-Type: application/json

{"query": "https://www.example.com/api/data"}

ParameterLink to Parameter

Parameter Typ Pflicht Beschreibung
query string ja Ziel-URL (Webseite oder API-Endpunkt)

Nur POST unterstützt.

HauptanwendungsfälleLink to Hauptanwendungsfälle

  • Externe APIs und Webseiten ohne eigenen Crawler abfragen
  • Monitoring-Pipelines mit Live-Webdaten speisen
  • Datenintegration aus nicht dokumentierten Endpunkten
  • Prototyping und Analyse von Web-API-Antworten

Verwandte APIs

Erweitern Sie Ihre Datenmöglichkeiten mit diesen ergänzenden Tools.

Website Antibot/v2/website/antibot

Erkennen Sie den Anti-Bot-Schutz einer Website vor dem Scraping. Vendor, Konfidenz und Hinweise in einem Aufruf.

GET1 Credit = 1 AnfrageAktiv
Website Crawler/v2/website/crawler

Fetch public pages with fast HTTP crawling (no JavaScript). Best first choice for static or server-rendered HTML; use Rendering or WebUnlocker when JS or anti-bot blocks you.

GET1 Credit = 1 AnfrageAktiv
Website Email Phone Extractor/v2/website/email_phone_extractor

Extrahieren Sie E-Mails und Telefonnummern von Websites für umfassende Kontaktdaten, einschließlich Social-Media-Profile auf über 12 Plattformen.

GET1 Credit = 1 AnfrageAktiv
Website Rendering/v2/website/rendering

Render JavaScript-heavy pages in a headless browser and return post-render HTML. Use when Crawler returns empty DOM; escalate to WebUnlocker if bot protection blocks the session.

GET2 Credits = 1 AnfrageAktiv
Website Rendering Instructions (POST)/v2/website/rendering

Führen Sie Browser-Automatisierungsanweisungen (scroll, scroll_to_bottom) während des Headless-Renderings aus, um Lazy-Loading-Inhalte auszulösen, Bot-Erkennung zu umgehen und dynamisch geladene Seiten zu scrapen.

POST2 Credits = 1 AnfrageAktiv
Website Screenshot/v2/website/screenshot

Screenshot API mit Browser-Rendering: erfasst Webseiten als PNG/JPEG/WebP oder PDF für Previews, QA, Reporting, Monitoring und Archivierung ohne Headless-Infrastruktur.

GET2 Credits = 1 AnfrageAktiv
Website Technology/v2/website/technology

Identifizieren Sie die Technologien hinter jeder Website CMS, Frameworks, Analytics, CDN, Hosting: für Wettbewerbsanalyse und technologische Einblicke.

GET1 Credit = 1 AnfrageAktiv
Website WebUnlocker/v2/website/webunlocker

Bypass advanced anti-bot systems (Cloudflare, DataDome, Akamai, PerimeterX) on whitelisted domains. Combines browser rendering and unlock tooling; use after Crawler and Rendering fail.

GET3 Credits = 1 AnfrageAktiv
Website WebUnlocker (POST)/v2/website/webunlocker

Senden Sie POST-Anfragen an freigeschaltete Websites oder APIs über WebUnlocker, um fortschrittlichen Anti-Bot-Schutz zu umgehen und die Upstream-Antwort abzurufen.

POST3 Credits = 1 AnfrageAktiv

Bereit loszulegen?

Ihre Web-Scraping-API ist nur einen Klick entfernt. Starten Sie mit +500 Credits, ohne Infrastruktur einrichten zu müssen, ohne Proxys zu verwalten und ohne Kreditkarte.

  • +500 Credits
  • Keine Kreditkarte erforderlich
  • Alle Endpunkte enthalten