Analyseur robots.txt pour scraping, Outil gratuit

Analyseur robots.txt

Parse les règles robots.txt et teste si un chemin d'URL est autorisé pour le scraping.

Contenu robots.txt

Chemin à testerUser-agent

Autorisé · Aucune règle correspondante (autorisation par défaut) (agent : *)

Règles analysées

[
  {
    "userAgent": "*",
    "allow": [
      "/public/"
    ],
    "disallow": [
      "/admin/"
    ],
    "crawlDelay": 1,
    "sitemap": [
      "https://example.com/sitemap.xml"
    ]
  }
]

Sitemaps

https://example.com/sitemap.xml

À quoi sert cet outil ?

Parse les règles robots.txt et teste si un chemin d'URL est autorisé pour le scraping.

Comment l'utiliser

Collez le contenu robots.txt et un chemin d'URL à tester dans le widget ci-dessus. Tout s'exécute localement dans votre navigateur.

Outils associés

Parseur scraping
Extracteur d'URL sitemap

Ressources Piloterr

Scraper APIs
Website Crawler API
Website Rendering API
Qu'est-ce que le web scraping ?
Tous les outils scraping