crawler.sh
Visites mensuelles
3 505
2026-10
Croissance mensuelle -57,8 %

crawler.sh - Exploration locale, extraction Markdown et analyse SEO

crawler.sh est un explorateur web local disponible en CLI et en application de bureau. Il extrait les articles en Markdown, rend les pages dépendantes de JavaScript et vérifie les pages explorées pour repérer les problèmes SEO. Il respecte robots.txt, exporte les résultats dans plusieurs formats et fonctionne sur l’appareil de l’utilisateur. L’offre gratuite permet jusqu’à 50 pages par session ; CLI Pro en permet jusqu’à 10 000.

Fonctionnalités

Exploration de sites web

Explore les sites localement et enregistre les résultats des pages pour les examiner ou les exporter. La concurrence, les nouvelles tentatives et le rendu sont configurables ; robots.txt est respecté et le rythme s’adapte après des réponses 429 ou 403.

Extraction Markdown

Extrait l’article principal des pages HTML et produit un Markdown lisible avec le nombre de mots, la signature de l’auteur et un extrait. L’extraction est activée par défaut et peut être désactivée avec --no-extract.

Rendu JavaScript

Rend les pages dépendantes du JavaScript côté client à l’aide d’un moteur intégré. Le mode Auto détecte si le rendu est nécessaire ; --render le force et --no-render le désactive.

Analyse SEO

Vérifie les pages explorées pour repérer les problèmes SEO et exporte les résultats regroupés en CSV ou TXT. L’analyse couvre 24 catégories et ne traite que les pages HTML avec une réponse 2xx.

Export des données et du site

Exporte les données d’exploration en NDJSON, JSON ou Sitemap XML conforme au W3C ; les résultats SEO sont disponibles en CSV ou TXT. Pro Content Archive place chaque page extraite dans un fichier Markdown distinct d’une archive ZIP.

TarifsFreemium

Une offre gratuite est disponible et les offres Pro payantes fonctionnent par abonnement. Comparez les limites par session, l’interface, l’analyse et les formats d’export. Free coûte $0 et CLI Pro est facturé à l’année ; le prix de Desktop Pro n’est pas indiqué.

OffrePrixFonctionnalités et limites
Free

$0

  • Jusqu’à 50 pages par session sans compte

  • Analyse SEO avec export CSV ou TXT

  • Export JSON et Sitemap XML

  • Aucun compte requis

CLI Pro

$99 par an

  • Jusqu’à 10 000 pages par session

  • Formats de sortie NDJSON, JSON et Sitemap XML

  • Extraction de contenu avec sortie Markdown

  • Analyse SEO en 16 catégories avec export CSV ou TXT

Desktop Pro

Prix non indiqué

  • Tableau de bord visuel avec 8 cartes interactives

  • Flux de crawl en temps réel avec indicateurs d’état

  • Détails des problèmes SEO pour chaque URL

  • Export Markdown de Content Archive

Un abonnement couvre la CLI et l’application de bureau. La page produit indique que la connexion porte la limite à 400 pages par crawl, sans préciser le prix ni les conditions de facturation de l’offre correspondante.

Cas d’utilisation

Préparer du contenu web pour des flux IA

Lorsque des pages web sont nécessaires au RAG, au fine-tuning ou au contexte d’agents, le site peut être exploré et son texte principal extrait. crawler.sh enregistre localement du Markdown propre et les métadonnées des pages pour les processus suivants.

Vérifier les problèmes SEO d’un site

Pour contrôler un site avant son lancement ou pendant sa maintenance, explorez ses pages et lancez l’analyse SEO. Consultez les problèmes regroupés, exportez-les en CSV ou TXT, puis examinez les URL concernées.

Créer une archive Markdown du contenu

Pour sauvegarder du contenu ou le transférer vers un autre processus, explorez les pages et exportez le contenu extrait. Pro Content Archive crée une archive ZIP contenant un fichier Markdown par page extraite.

Générer un plan de site depuis un crawl

Lorsque le plan de site doit refléter les pages explorées, lancez un crawl et exportez un Sitemap XML conforme au W3C. Le fichier généré peut servir de plan de site web.

Limites

  • Sans compte, la limite est de 50 pages par session ; la connexion la porte à 400 pages par crawl, et CLI Pro permet jusqu’à 10 000 pages par session.

  • L’analyse SEO traite uniquement les pages HTML qui renvoient une réponse 2xx.

  • La FAQ indique que Windows est sur la feuille de route ; elle liste actuellement macOS et Linux pour la CLI et l’application de bureau.

  • L’assistance est proposée en anglais ; l’équipe indique qu’elle fera de son mieux pour comprendre et répondre aux messages dans d’autres langues.

  • L’équipe n’explore pas les sites pour le compte des utilisateurs, ne crée pas de tableaux de bord sur mesure et ne rédige pas de rapports SEO personnalisés payants.

  • Aucune assistance téléphonique, SLA de tickets ni gestionnaire de compte dédié n’est proposé, y compris avec Pro.

Public cible

  • Développeurs ayant besoin d’exploration locale dans des scripts, tâches planifiées ou pipelines CI

  • Spécialistes SEO qui vérifient les problèmes techniques d’un site et exportent des rapports

  • Personnes préparant du texte web en Markdown pour le RAG, le fine-tuning ou le contexte d’agents

  • Responsables de sites souhaitant archiver du contenu, générer des plans de site ou suivre les changements

Questions fréquentes

Quels systèmes d’exploitation crawler.sh prend-il en charge ?

La CLI et l’application de bureau sont disponibles sur macOS et Linux. La FAQ précise Apple Silicon et Intel sur macOS, et x86_64 sur Linux ; Windows est sur la feuille de route.

Faut-il un compte pour explorer un site ?

Non. La CLI et l’application de bureau fonctionnent sans compte, avec une limite de 50 pages par crawl ; la connexion porte cette limite à 400 pages.

crawler.sh peut-il rendre les pages JavaScript ?

Oui. Le moteur intégré détecte les frameworks JavaScript côté client en mode Auto. Utilisez --render pour forcer le rendu ou --no-render pour le désactiver.

Quels formats crawler.sh peut-il exporter ?

Les données d’exploration peuvent être exportées en NDJSON, JSON ou Sitemap XML ; les rapports SEO en CSV ou TXT. Pro Content Archive exporte aussi les pages extraites en fichiers Markdown dans un ZIP.

Comment fonctionne l’extraction de contenu ?

Lorsqu’elle est activée, crawler.sh extrait l’article principal des pages HTML en Markdown et fournit le nombre de mots, la signature de l’auteur et un extrait. Elle est active par défaut et peut être désactivée avec --no-extract.

Quelles pages sont prises en compte par l’analyse SEO ?

Seules les pages HTML avec une réponse 2xx sont analysées. La commande SEO vérifie 24 catégories, dont les métadonnées, titres, liens, URL canoniques et signaux de fraîcheur du contenu.

Liens officiels

Commentaires

Veuillez vous connecter pour laisser un commentaire.
Pas encore de commentaires. Soyez le premier à partager vos impressions !