# spatie/crawler

> Paralleles Crawlen von Websites aus PHP, auch JavaScript-gerenderte Seiten

Navigation: [Entwicklerwerkzeuge](category/developer-tools.txt) · [Index](../llms.txt)

## Fakten

- GitHub: https://github.com/spatie/crawler
- HTML: https://awesomeopensource.dev/de/project/spatie-crawler
- Webseite: https://freek.dev/308-building-a-crawler-in-php
- Lizenz: MIT
- Sprache: PHP
- Sterne: 2829
- Themen: concurrency, crawler, guzzle, php
- Aktivitäts-Score: 4.3/5 (Aktiv)
- Letzter Commit (beliebiger Branch): 2026-11-05
- Letztes Release: 9.4.2 2026-08-07

## Beschreibung

Spatie Crawler stellt eine PHP-Klasse bereit, die Links einer Website verfolgt und jede gecrawlte URL samt Antwort meldet. Guzzle-Promises laden mehrere URLs gleichzeitig, während die optionale Browsershot-Integration Chrome und Puppeteer startet, um JavaScript-Seiten zu rendern. Das Paket unterstützt Tiefenbegrenzungen, reines internes Crawling und gesammelte URL-Listen und enthält eine eigene Testsuite.

## Wartungsaktivität

- Aktualität: 94% (weight 40%) — last commit: 8 days ago
- Commit-Volumen: 55% (weight 25%)
- Releases: 84% (weight 25%) — last release: 98 days ago
- Bugfixes: 100% (weight 10%)
- Commits: 2 / 90d, 76 / 365d

## Screenshots

- [Screenshot of a Spatie Crawler terminal session listing crawled URLs and HTTP status codes](https://awesomeopensource.dev/uploads/869/5e74fbc1f3788365.png)

## Ähnliche Projekte

- [stablyai/orca](stablyai-orca.md): Mehrere Coding-Agenten parallel ausführen, jeder in einem eigenen Git-Worktree · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [tauri-apps/tauri](tauri-apps-tauri.md): Kleine Desktop- und Mobile-Apps mit Web-Frontend und Rust-Kern bauen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [microsoft/terminal](microsoft-terminal.md): Tabs, Bereiche und GPU-Rendering für PowerShell, cmd, WSL und SSH unter Windows · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [ant-design/ant-design](ant-design-ant-design.md): Eine UI-Designsprache. · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [microsoft/playwright](microsoft-playwright.md): End-to-End-Tests und Browser-Automatisierung für Chromium, Firefox und WebKit · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [nvm-sh/nvm](nvm-sh-nvm.md): POSIX-Shellskript zum Installieren und Wechseln von Node.js-Versionen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
