crawler.sh
Monatliche Besuche
3.505
2026-10
Monatliches Wachstum -57,8 %

crawler.sh - Lokales Crawling, Markdown-Extraktion und SEO-Analyse

crawler.sh ist ein lokal ausgeführter CLI- und Desktop-Webcrawler. Er extrahiert Artikelinhalte als Markdown, rendert JavaScript-lastige Seiten und prüft gecrawlte Seiten auf SEO-Probleme. Das Tool beachtet robots.txt, exportiert Crawl- und Analyseergebnisse in mehreren Formaten und läuft auf dem Gerät der Nutzenden. Die kostenlose Nutzung umfasst bis zu 50 Seiten pro Sitzung; CLI Pro erlaubt bis zu 10.000.

Website besuchenDieses Produkt aktualisieren

0Aufrufe

Funktionen

Websites crawlen

Crawlt Websites lokal und speichert Seitenergebnisse zur Prüfung oder zum Export. Parallelität, Wiederholungen und Rendering lassen sich konfigurieren; robots.txt wird beachtet und das Tempo nach 429- oder 403-Antworten angepasst.

Markdown-Extraktion

Extrahiert den Hauptartikel aus HTML-Seiten und gibt sauberes Markdown mit Wortzahl, Autorenzeile und Auszug aus. Die Extraktion ist standardmäßig aktiv und kann mit --no-extract deaktiviert werden.

JavaScript-Rendering

Rendert Seiten, die clientseitiges JavaScript benötigen, mit einer integrierten Engine. Der Auto-Modus erkennt den Bedarf; mit --render lässt sich Rendering erzwingen und mit --no-render abschalten.

SEO-Analyse

Prüft gecrawlte Seiten auf SEO-Probleme und exportiert gruppierte Ergebnisse als CSV oder TXT. Die Analyse umfasst 24 Kategorien und berücksichtigt nur HTML-Seiten mit einer 2xx-Antwort.

Crawl- und Website-Export

Exportiert Crawl-Daten als NDJSON, JSON oder W3C-konformes Sitemap XML; SEO-Ergebnisse sind als CSV oder TXT verfügbar. Der Pro Content Archive-Export schreibt extrahierte Seiten einzeln als Markdown-Dateien in ein ZIP-Archiv.

PreiseFreemium

Ein kostenloser Tarif ist verfügbar; die kostenpflichtigen Pro-Tarife sind Abonnements. Vergleichen Sie Seitenlimits pro Sitzung, Oberfläche, Analyse und Exportformate. Free kostet $0, CLI Pro wird jährlich berechnet; für Desktop Pro nennen die Seiten keinen Preis.

TarifPreisLeistungen und Limits
Free

$0

  • Bis zu 50 Seiten pro Sitzung ohne Konto

  • SEO-Analyse mit CSV- oder TXT-Export

  • JSON- und Sitemap-XML-Export

  • Kein Konto erforderlich

CLI Pro

$99 pro Jahr

  • Bis zu 10.000 Seiten pro Sitzung

  • NDJSON, JSON und Sitemap XML als Ausgabeformate

  • Inhaltsextraktion mit Markdown-Ausgabe

  • SEO-Analyse in 16 Kategorien mit CSV- oder TXT-Export

Desktop Pro

Preis nicht angegeben

  • Visuelles Dashboard mit 8 interaktiven Karten

  • Echtzeit-Crawl-Feed mit Statusmarkierungen

  • SEO-Probleme mit Details je URL

  • Markdown-Export des Content Archive

Ein Abonnement gilt für CLI und Desktop-App. Laut Produktseite erhöht eine Anmeldung das Limit auf 400 Seiten pro Crawl; der Preis und die Abrechnungsbedingung für den zugehörigen Tarif werden nicht genannt.

Anwendungsfälle

Website-Inhalte für KI-Pipelines vorbereiten

Wenn Website-Seiten für RAG, Fine-Tuning oder Agentenkontext benötigt werden, lässt sich die Website crawlen und der Hauptartikeltext extrahieren. crawler.sh speichert sauberes Markdown und Seitenmetadaten lokal für nachgelagerte Abläufe.

SEO-Probleme einer Website prüfen

Zur Prüfung einer Website vor dem Start oder während der Wartung werden Seiten gecrawlt und die SEO-Analyse ausgeführt. Kategorisierte Probleme lassen sich als CSV oder TXT exportieren und den betroffenen URLs zuordnen.

Markdown-Archiv von Website-Inhalten erstellen

Wenn Website-Inhalte gesichert oder in einen anderen Ablauf übernommen werden sollen, können Seiten gecrawlt und extrahierte Inhalte exportiert werden. Pro Content Archive erstellt ein ZIP mit einer Markdown-Datei je extrahierter Seite.

Sitemap aus einem Live-Crawl erzeugen

Wenn eine Sitemap die gecrawlten Seiten abbilden soll, wird ein Crawl ausgeführt und W3C-konformes Sitemap XML exportiert. Die erzeugte Datei kann als Sitemap der Website verwendet werden.

Einschränkungen

  • Ohne Anmeldung sind 50 Seiten pro Sitzung möglich; mit Anmeldung sind es 400 Seiten pro Crawl, und CLI Pro erlaubt bis zu 10.000 Seiten pro Sitzung.

  • Die SEO-Analyse verarbeitet nur HTML-Seiten mit einer 2xx-Antwort.

  • Laut FAQ steht Windows auf der Roadmap; aktuell werden macOS und Linux für CLI und Desktop-App aufgeführt.

  • Support wird auf Englisch angeboten; das Team versucht laut eigener Aussage, Nachrichten in anderen Sprachen zu verstehen und zu beantworten.

  • Das Team crawlt keine Websites im Auftrag, erstellt keine individuellen Dashboards und verfasst keine maßgeschneiderten SEO-Berichte als bezahlte Leistung.

  • Auch bei Pro gibt es keinen Telefonsupport, keine Ticket-SLAs und keine festen Account Manager.

Zielgruppen

  • Entwickler, die lokale Crawls in Skripten, geplanten Jobs oder CI-Pipelines benötigen

  • SEO-Fachleute, die technische Probleme einer Website prüfen und Berichte exportieren

  • Personen, die Website-Texte als Markdown für RAG, Fine-Tuning oder Agentenkontext aufbereiten

  • Website-Betreiber, die Inhalte archivieren, Sitemaps erzeugen oder Seitenänderungen überwachen

Häufige Fragen

Welche Betriebssysteme unterstützt crawler.sh?

CLI und Desktop-App sind für macOS und Linux verfügbar. Laut FAQ werden Apple Silicon und Intel auf macOS sowie x86_64 auf Linux unterstützt; Windows steht auf der Roadmap.

Brauche ich zum Crawlen ein Konto?

Nein. CLI und Desktop-App funktionieren ohne Konto mit einem Limit von 50 Seiten pro Crawl; nach der Anmeldung steigt das Limit auf 400 Seiten.

Kann crawler.sh JavaScript-Seiten rendern?

Ja. Die integrierte Engine erkennt clientseitige JavaScript-Frameworks im Auto-Modus. Mit --render lässt sich Rendering erzwingen, mit --no-render deaktivieren.

Welche Formate kann crawler.sh exportieren?

Crawl-Daten lassen sich als NDJSON, JSON oder Sitemap XML exportieren; SEO-Berichte als CSV oder TXT. Pro Content Archive gibt extrahierte Seiten außerdem als Markdown-Dateien in einem ZIP aus.

Wie funktioniert die Inhaltsextraktion?

Wenn sie aktiviert ist, extrahiert crawler.sh den Hauptartikel aus HTML-Seiten als Markdown und ergänzt Wortzahl, Autorenzeile und Auszug. Sie ist standardmäßig aktiv und kann mit --no-extract deaktiviert werden.

Welche Seiten fließen in die SEO-Analyse ein?

Analysiert werden nur HTML-Seiten mit einer 2xx-Antwort. Der SEO-Befehl prüft 24 Kategorien, darunter Metadaten, Überschriften, Links, kanonische URLs und Aktualitätssignale.

Kommentare

Bitte melde dich an, um einen Kommentar zu hinterlassen.
Noch keine Kommentare. Sei der Erste, der seine Gedanken teilt!