crawler.sh
Visitas mensais
3.505
2026-10
Crescimento mensal -57,8%

crawler.sh - Rastreamento local, extração Markdown e análise de SEO

crawler.sh é um rastreador web local com CLI e aplicativo para desktop. Ele extrai artigos como Markdown, renderiza páginas que dependem de JavaScript e verifica problemas de SEO nas páginas rastreadas. Respeita robots.txt, exporta resultados em vários formatos e funciona no computador do usuário. O uso gratuito permite até 50 páginas por sessão; CLI Pro permite até 10.000.

Visitar siteAtualizar este produto

0Visualizações

Funcionalidades

Rastreamento de sites

Rastreia sites localmente e salva os resultados das páginas para consulta ou exportação. É possível configurar concorrência, novas tentativas e renderização; o rastreador respeita robots.txt e ajusta o ritmo após respostas 429 ou 403.

Extração para Markdown

Extrai o artigo principal de páginas HTML e gera Markdown limpo com contagem de palavras, autoria e resumo. A extração vem ativada por padrão e pode ser desativada com --no-extract.

Renderização de JavaScript

Renderiza páginas que dependem de JavaScript no lado do cliente com um mecanismo integrado. O modo Auto detecta quando é necessário; também é possível forçar com --render ou desativar com --no-render.

Análise de SEO

Verifica problemas de SEO nas páginas rastreadas e exporta resultados agrupados como CSV ou TXT. A análise cobre 24 categorias e processa apenas páginas HTML com resposta 2xx.

Exportação do rastreamento e do site

Exporta dados de rastreamento como NDJSON, JSON ou Sitemap XML compatível com W3C; resultados de SEO ficam disponíveis em CSV ou TXT. O Pro Content Archive grava cada página extraída em um arquivo Markdown separado dentro de um ZIP.

PreçosFreemium

Há um plano gratuito, e os planos Pro pagos funcionam por assinatura. Compare limites por sessão, interface, análise e formatos de exportação. Free custa $0 e CLI Pro é cobrado anualmente; as páginas não informam o preço do Desktop Pro.

PlanoPreçoRecursos e limites
Free

$0

  • Até 50 páginas por sessão sem conta

  • Análise de SEO com exportação CSV ou TXT

  • Exportação JSON e Sitemap XML

  • Não exige conta

CLI Pro

$99 por ano

  • Até 10.000 páginas por sessão

  • Formatos NDJSON, JSON e Sitemap XML

  • Extração de conteúdo com saída em Markdown

  • Análise de SEO em 16 categorias com exportação CSV ou TXT

Desktop Pro

Preço não informado

  • Painel visual com 8 cartões interativos

  • Feed de rastreamento em tempo real com status

  • Detalhes de problemas de SEO por URL

  • Exportação Markdown do Content Archive

Uma assinatura cobre tanto a CLI quanto o aplicativo para desktop. A página do produto informa que entrar na conta eleva o limite para 400 páginas por rastreamento, mas não especifica o preço nem as condições de cobrança do plano correspondente.

Casos de uso

Preparar conteúdo de sites para fluxos de IA

Quando páginas de sites são necessárias para RAG, ajuste fino ou contexto de agentes, rastreie o site e extraia o texto principal dos artigos. crawler.sh salva localmente Markdown limpo e metadados das páginas para uso em etapas posteriores.

Verificar problemas de SEO em um site

Para revisar um site antes do lançamento ou durante a manutenção, rastreie as páginas e execute a análise de SEO. Consulte os problemas agrupados, exporte em CSV ou TXT e investigue as URLs afetadas.

Criar um arquivo Markdown do conteúdo

Quando for necessário fazer backup do conteúdo ou levá-lo para outro fluxo de trabalho, rastreie as páginas e exporte o conteúdo extraído. O Pro Content Archive cria um ZIP com um arquivo Markdown para cada página extraída.

Gerar um sitemap a partir do rastreamento

Quando o sitemap precisa refletir as páginas rastreadas, execute o rastreamento e exporte Sitemap XML compatível com W3C. O arquivo gerado pode ser usado como sitemap do site.

Limitações

  • O uso anônimo permite até 50 páginas por sessão; entrar na conta eleva o limite a 400 páginas por rastreamento, e CLI Pro permite até 10.000 por sessão.

  • A análise de SEO processa somente páginas HTML que respondem com status 2xx.

  • A FAQ informa que o suporte a Windows está no roadmap; atualmente lista macOS e Linux para CLI e desktop.

  • O suporte é oferecido em inglês; a equipe diz que tentará entender e responder mensagens em outros idiomas.

  • A equipe não rastreia sites a pedido, não cria painéis personalizados nem produz relatórios de SEO sob medida como serviço pago.

  • Não há suporte por telefone, SLA de chamados ou gerente de conta dedicado, inclusive no Pro.

Público-alvo

  • Desenvolvedores que precisam de rastreamento local em scripts, tarefas agendadas ou pipelines de CI

  • Especialistas em SEO que precisam verificar problemas técnicos do site e exportar relatórios

  • Pessoas que preparam textos de sites em Markdown para RAG, ajuste fino ou contexto de agentes

  • Responsáveis por sites que precisam arquivar conteúdo, gerar sitemaps ou acompanhar mudanças

Perguntas frequentes

Quais sistemas operacionais o crawler.sh suporta?

A CLI e o aplicativo para desktop estão disponíveis para macOS e Linux. A FAQ especifica Apple Silicon e Intel no macOS e x86_64 no Linux; Windows está no roadmap.

Preciso de uma conta para rastrear um site?

Não. A CLI e o aplicativo para desktop podem ser usados sem conta, com limite de 50 páginas por rastreamento; entrar na conta aumenta o limite para 400 páginas.

O crawler.sh renderiza páginas JavaScript?

Sim. O mecanismo integrado detecta frameworks JavaScript no lado do cliente no modo Auto. Use --render para forçar a renderização ou --no-render para desativá-la.

Quais formatos o crawler.sh exporta?

Os dados do rastreamento podem ser exportados como NDJSON, JSON ou Sitemap XML; os relatórios de SEO, como CSV ou TXT. O Pro Content Archive também exporta as páginas extraídas como arquivos Markdown em um ZIP.

Como funciona a extração de conteúdo?

Quando está ativada, a ferramenta extrai o artigo principal de páginas HTML para Markdown e inclui contagem de palavras, autoria e resumo. Ela vem ativada por padrão e pode ser desligada com --no-extract.

Quais páginas entram na análise de SEO?

Somente páginas HTML com resposta 2xx são analisadas. O comando de SEO verifica 24 categorias, incluindo metadados, títulos, links, URLs canônicas e sinais de atualização do conteúdo.

Comentários

Por favor faça login para deixar um comentário.
Ainda não há comentários. Seja o primeiro a compartilhar sua opinião!