
- Visitas mensais
- 3.505
- 2026-10
- Crescimento mensal -57,8%
crawler.sh - Rastreamento local, extração Markdown e análise de SEO
crawler.sh é um rastreador web local com CLI e aplicativo para desktop. Ele extrai artigos como Markdown, renderiza páginas que dependem de JavaScript e verifica problemas de SEO nas páginas rastreadas. Respeita robots.txt, exporta resultados em vários formatos e funciona no computador do usuário. O uso gratuito permite até 50 páginas por sessão; CLI Pro permite até 10.000.
- Marketing com IA
- Ferramentas de SEO
- Web scraping
- rastreador de sites local
- extração de conteúdo Markdown
- auditoria de SEO



Funcionalidades
Rastreamento de sites
Rastreia sites localmente e salva os resultados das páginas para consulta ou exportação. É possível configurar concorrência, novas tentativas e renderização; o rastreador respeita robots.txt e ajusta o ritmo após respostas 429 ou 403.
Extração para Markdown
Extrai o artigo principal de páginas HTML e gera Markdown limpo com contagem de palavras, autoria e resumo. A extração vem ativada por padrão e pode ser desativada com --no-extract.
Renderização de JavaScript
Renderiza páginas que dependem de JavaScript no lado do cliente com um mecanismo integrado. O modo Auto detecta quando é necessário; também é possível forçar com --render ou desativar com --no-render.
Análise de SEO
Verifica problemas de SEO nas páginas rastreadas e exporta resultados agrupados como CSV ou TXT. A análise cobre 24 categorias e processa apenas páginas HTML com resposta 2xx.
Exportação do rastreamento e do site
Exporta dados de rastreamento como NDJSON, JSON ou Sitemap XML compatível com W3C; resultados de SEO ficam disponíveis em CSV ou TXT. O Pro Content Archive grava cada página extraída em um arquivo Markdown separado dentro de um ZIP.
Preços
Há um plano gratuito, e os planos Pro pagos funcionam por assinatura. Compare limites por sessão, interface, análise e formatos de exportação. Free custa $0 e CLI Pro é cobrado anualmente; as páginas não informam o preço do Desktop Pro.
| Plano | Preço | Recursos e limites |
|---|---|---|
| Free | $0 |
|
| CLI Pro | $99 por ano |
|
| Desktop Pro | Preço não informado |
|
Uma assinatura cobre tanto a CLI quanto o aplicativo para desktop. A página do produto informa que entrar na conta eleva o limite para 400 páginas por rastreamento, mas não especifica o preço nem as condições de cobrança do plano correspondente.
Casos de uso
Preparar conteúdo de sites para fluxos de IA
Quando páginas de sites são necessárias para RAG, ajuste fino ou contexto de agentes, rastreie o site e extraia o texto principal dos artigos. crawler.sh salva localmente Markdown limpo e metadados das páginas para uso em etapas posteriores.
Verificar problemas de SEO em um site
Para revisar um site antes do lançamento ou durante a manutenção, rastreie as páginas e execute a análise de SEO. Consulte os problemas agrupados, exporte em CSV ou TXT e investigue as URLs afetadas.
Criar um arquivo Markdown do conteúdo
Quando for necessário fazer backup do conteúdo ou levá-lo para outro fluxo de trabalho, rastreie as páginas e exporte o conteúdo extraído. O Pro Content Archive cria um ZIP com um arquivo Markdown para cada página extraída.
Gerar um sitemap a partir do rastreamento
Quando o sitemap precisa refletir as páginas rastreadas, execute o rastreamento e exporte Sitemap XML compatível com W3C. O arquivo gerado pode ser usado como sitemap do site.
Limitações
O uso anônimo permite até 50 páginas por sessão; entrar na conta eleva o limite a 400 páginas por rastreamento, e CLI Pro permite até 10.000 por sessão.
A análise de SEO processa somente páginas HTML que respondem com status 2xx.
A FAQ informa que o suporte a Windows está no roadmap; atualmente lista macOS e Linux para CLI e desktop.
O suporte é oferecido em inglês; a equipe diz que tentará entender e responder mensagens em outros idiomas.
A equipe não rastreia sites a pedido, não cria painéis personalizados nem produz relatórios de SEO sob medida como serviço pago.
Não há suporte por telefone, SLA de chamados ou gerente de conta dedicado, inclusive no Pro.
Público-alvo
Desenvolvedores que precisam de rastreamento local em scripts, tarefas agendadas ou pipelines de CI
Especialistas em SEO que precisam verificar problemas técnicos do site e exportar relatórios
Pessoas que preparam textos de sites em Markdown para RAG, ajuste fino ou contexto de agentes
Responsáveis por sites que precisam arquivar conteúdo, gerar sitemaps ou acompanhar mudanças
Perguntas frequentes
Quais sistemas operacionais o crawler.sh suporta?
A CLI e o aplicativo para desktop estão disponíveis para macOS e Linux. A FAQ especifica Apple Silicon e Intel no macOS e x86_64 no Linux; Windows está no roadmap.
Preciso de uma conta para rastrear um site?
Não. A CLI e o aplicativo para desktop podem ser usados sem conta, com limite de 50 páginas por rastreamento; entrar na conta aumenta o limite para 400 páginas.
O crawler.sh renderiza páginas JavaScript?
Sim. O mecanismo integrado detecta frameworks JavaScript no lado do cliente no modo Auto. Use --render para forçar a renderização ou --no-render para desativá-la.
Quais formatos o crawler.sh exporta?
Os dados do rastreamento podem ser exportados como NDJSON, JSON ou Sitemap XML; os relatórios de SEO, como CSV ou TXT. O Pro Content Archive também exporta as páginas extraídas como arquivos Markdown em um ZIP.
Como funciona a extração de conteúdo?
Quando está ativada, a ferramenta extrai o artigo principal de páginas HTML para Markdown e inclui contagem de palavras, autoria e resumo. Ela vem ativada por padrão e pode ser desligada com --no-extract.
Quais páginas entram na análise de SEO?
Somente páginas HTML com resposta 2xx são analisadas. O comando de SEO verifica 24 categorias, incluindo metadados, títulos, links, URLs canônicas e sinais de atualização do conteúdo.
Comentários