Robots.txt-Analysator für Web-Scraping, kostenloses Tool

Robots.txt-Analysator

Analysieren Sie robots.txt-Regeln und testen Sie, ob ein URL-Pfad für das Scraping zugelassen ist.

robots.txt-Inhalt

Zu testender PfadUser-Agent

Erlaubt · Keine passende Regel (Standard: erlaubt) (Agent: *)

Geparste Regeln

[
  {
    "userAgent": "*",
    "allow": [
      "/public/"
    ],
    "disallow": [
      "/admin/"
    ],
    "crawlDelay": 1,
    "sitemap": [
      "https://example.com/sitemap.xml"
    ]
  }
]

Sitemaps

https://example.com/sitemap.xml

Was ist dieses Tool?

Analysieren Sie robots.txt-Regeln und testen Sie, ob ein URL-Pfad für das Scraping zugelassen ist.

Wie zu verwenden

Fügen Sie Ihre Eingabe in das obige Widget ein. Alles läuft lokal in Ihrem Browser, keine Daten werden an die Piloterr-Server gesendet.

Piloterr-Ressourcen

Scraper-APIs
Website-Crawler-API
Website-Rendering-API
Was ist Web-Scraping?
Alle Scraping-Tools

Robots.txt-Analysator

Was ist dieses Tool?

Wie zu verwenden

Verwandte Tools

Piloterr-Ressourcen