O que é fingerprinting de navegador?
Os sites identificam navegadores combinando sinais de TLS, HTTP/2, ordem dos headers, canvas, WebGL e runtime. Scrapers que apenas alteram o User-Agent são frequentemente bloqueados porque o fingerprint na rede ainda parece Node.js ou automação.
Abaixo: sites de teste, bibliotecas e pesquisas que usamos junto com a caixa de ferramentas de fingerprinting da Piloterr.
Sites de teste
Capture linhas de base e compare com a configuração do seu scraper:
- tls.peet.ws, captura de TLS + HTTP/2 (cole o JSON em nosso Analisador de Captura TLS)
- tls3.peet.ws, API HTTP/3
- AmIUnique
- PixelScan
- BrowserLeaks
- bot-detector, vazamentos de CDP / automação (combina com Verificador de Sinais Headless)
- DeviceAndBrowserInfo
Caixa de ferramentas da Piloterr
Ferramentas apenas para navegador para decodificar e inspecionar capturas, elas complementam os sites acima:
- Analisador de Captura TLS, analisa o JSON de
/api/alldo tls.peet.ws - Decodificador JA4
- Decodificador HTTP/2 Akamai
- Construtor de Headers de Requisição do Chrome
- Verificador de Sinais Headless
- Relatório de Fingerprint do Navegador, sinais locais de canvas/WebGL (educacional; não equivalente ao FingerprintJS)
Bibliotecas de impersonação TLS
Clientes de código aberto que emulam handshakes TLS de navegadores:
Bibliotecas de fingerprinting de navegador
Implementações de referência e projetos de pesquisa:
- FingerprintJS
- CreepJS
- salesforce/ja3, fingerprinting TLS JA3
- FingerprintJS BotD
Pesquisas importantes
- JA4+ network fingerprinting (FoxIO)
- Salesforce: TLS fingerprinting com JA3
- Entendendo o fingerprinting HTTP/2
- Detectando navegadores headless (Antoine Vastel)
Guias da Piloterr
Artigos sobre clientes HTTP que usamos em fluxos de trabalho de scraping:
- hellojs vs undici, TLS/JA4 do Node.js
- Wreq, relacionado ao reqwest-impersonate (mesmo autor)
- RNet, bindings Python para o motor wreq
Produtos da Piloterr
- Bypass anti-bot, emulação de TLS e navegador gerenciada para scrapers
- Bypass WAF, bypass de Cloudflare, Akamai e WAFs similares
- Navegador headless, páginas renderizadas com fingerprints realistas