unclecode/crawl4ai
Python-Webcrawler und Scraper, der Seiten in sauberes, strukturiertes Markdown für LLM- und RAG-Pipelines umwandelt. Es extrahiert strukturiertes JSON über CSS-, XPath-, Regex- oder LLM-Strategien und steuert echte Browser mit persistenten Profilen, Proxys, Stealth-Modus und asynchronem Crawling über Chromium, Firefox und WebKit. Es läuft als Bibliothek, CLI oder tokengeschützter Docker-Server, stellt eine REST-API und einen MCP-Endpunkt bereit, unterstützt tiefe und adaptive Crawls und ist Apache-2.0-lizenziert.
Wartungsaktivität