Zum Hauptinhalt springen
Netzwerkstatus
Anmelden
Piloterr
Zurück zur Bibliothek

API Website Crawler

Eine robuste Lösung zur effizienten Extraktion einer breiten Palette von Daten von Webseiten durch hochperformantes Request-Mode-Crawling.

Aktiv1 Credit = 1 AnfrageGET/v2/website/crawler
Endpunkt kostenlos testenPiloterr

Endpunkt-Übersicht

Detaillierte Dokumentation, Preise und Anwendungsbeispiele.

ÜberblickLink to Überblick

Die Website Crawler API bietet hochperformantes, request-basiertes Daten beliebiger öffentlicher Webseiten und gibt den vollständigen HTML-Inhalt zurück. Im Gegensatz zu browser-basiertem Rendering arbeitet sie ohne JavaScript-Ausführung, was sie extrem schnell und kosteneffizient für statische oder server-seitig gerenderte Seiten macht.

SchnellstartLink to Schnellstart

GET https://api.piloterr.com/v2/website/crawler?query=https://example.com

ParameterLink to Parameter

Parameter Typ Erforderlich Beschreibung
query string ja Eine Website-URL mit http oder https Protokoll
allow_redirects boolean nein Bei false werden Weiterleitungen nicht verfolgt. Standard: true
return_page_source boolean nein Bei true wird der rohe HTML-Quellcode zurückgegeben. Standard: false

AntwortfelderLink to Antwortfelder

Feld Typ Beschreibung
(Antwortkörper) string Vollständiger HTML-Inhalt der gescrapten Webseite

HinweiseLink to Hinweise

  • Für JavaScript-lastige Seiten empfehlen wir Website Rendering oder Website WebUnlocker
  • Nur erfolgreiche HTTP-Antworten werden von Ihrem Guthaben abgezogen

HauptanwendungsfälleLink to Hauptanwendungsfälle

  • E-Commerce-Produktseiten scrapen, um Preise, Beschreibungen und Verfügbarkeit zu extrahieren
  • Konkurrenzwebsites auf Inhaltsänderungen überwachen
  • Strukturierte Inhalte aus Blogs, Nachrichtenseiten und Verzeichnissen für Datenaggregation extrahieren
  • Lead-Generierungstools erstellen durch Crawlen von Unternehmensseiten

Verwandte APIs

Erweitern Sie Ihre Datenmöglichkeiten mit diesen ergänzenden Tools.

Alle anzeigen
Website Email Phone Extractor/v2/website/email_phone_extractor

Extrahieren Sie E-Mails und Telefonnummern von Websites für umfassende Kontaktdaten, einschließlich Social-Media-Profile auf über 12 Plattformen.

GET1 Credit = 1 AnfrageAktiv
Website Rendering Instructions (POST)/v2/website/rendering

Führen Sie Browser-Automatisierungsanweisungen (scroll, scroll_to_bottom) während des Headless-Renderings aus, um Lazy-Loading-Inhalte auszulösen, Bot-Erkennung zu umgehen und dynamisch geladene Seiten zu scrapen.

POST2 Credits = 1 AnfrageAktiv
Website Screenshot/v2/website/screenshot

Screenshot API mit Browser-Rendering: erfasst Webseiten als PNG/JPEG/WebP oder PDF für Previews, QA, Reporting, Monitoring und Archivierung ohne Headless-Infrastruktur.

GET2 Credits = 1 AnfrageAktiv
Website Technology/v2/website/technology

Identifizieren Sie die Technologien hinter jeder Website CMS, Frameworks, Analytics, CDN, Hosting — für Wettbewerbsanalyse und technologische Einblicke.

GET1 Credit = 1 AnfrageAktiv
Website WebUnlocker/v2/website/webunlocker

WebUnlocker ist ein Hybrid aus realistischem JS-Rendering und Request-Mode-Crawling, entwickelt zum Umgehen fortschrittlicher Anti-Bot-Systeme auf Whitelist-Websites.

GET3 Credits = 1 AnfrageAktiv

Bereit loszulegen?

Ihre Web-Scraping-API ist nur einen Klick entfernt. Starten Sie mit +500 Credits, ohne Infrastruktur einrichten zu müssen, ohne Proxys zu verwalten und ohne Kreditkarte.

  • +500 Credits
  • Keine Kreditkarte erforderlich
  • Alle Endpunkte enthalten
Kostenlos starten (+500 Credits)PiloterrMit einem Datenexperten sprechen