Analizador de Robots.txt para Web Scraping, Herramienta Gratuita

Analizador de Robots.txt

Analiza las reglas de robots.txt y prueba si una ruta de URL está permitida para scraping.

Contenido de robots.txt

Ruta a probarUser-agent

Permitido · No hay regla coincidente (permiso por defecto) (agente: *)

Reglas analizadas

[
  {
    "userAgent": "*",
    "allow": [
      "/public/"
    ],
    "disallow": [
      "/admin/"
    ],
    "crawlDelay": 1,
    "sitemap": [
      "https://example.com/sitemap.xml"
    ]
  }
]

Sitemaps

https://example.com/sitemap.xml

¿Qué es esta herramienta?

Analiza las reglas de robots.txt y prueba si una ruta de URL está permitida para scraping.

Cómo usar

Pega tu entrada en el widget anterior. Todo se ejecuta localmente en tu navegador, no se envían datos a los servidores de Piloterr.

Herramientas relacionadas

Analizador de scraping
extractor de URLs de sitemap

Recursos de Piloterr

Scraper APIs
Website Crawler API
Website Rendering API
¿Qué es el web scraping?
Todas las herramientas de scraping