Analisador de Robots.txt para Web Scraping, Ferramenta Gratuita

Analisador de Robots.txt

Analise regras do robots.txt e teste se um caminho de URL é permitido para scraping.

Conteúdo do robots.txt

Caminho para testarUser-agent

Permitido · Nenhuma regra correspondente (permitido por padrão) (agente: *)

Regras analisadas

[
  {
    "userAgent": "*",
    "allow": [
      "/public/"
    ],
    "disallow": [
      "/admin/"
    ],
    "crawlDelay": 1,
    "sitemap": [
      "https://example.com/sitemap.xml"
    ]
  }
]

Sitemaps

https://example.com/sitemap.xml

O que é esta ferramenta?

Analise regras do robots.txt e teste se um caminho de URL é permitido para scraping.

Como usar

Cole sua entrada no widget acima. Tudo é executado localmente no seu navegador, nenhum dado é enviado para os servidores da Piloterr.

Ferramentas relacionadas

Analisador de scraping
extractor de URLs de sitemap

Recursos da Piloterr

Scraper APIs
Website Crawler API
Website Rendering API
O que é web scraping?
Todas as ferramentas de scraping