unclecode/crawl4ai
Robot d'exploration et grattoir Web Python qui convertit les pages en Markdown propre et structuré pour les pipelines LLM et RAG. Il extrait le JSON structuré via des stratégies CSS, XPath, regex ou LLM et pilote de vrais navigateurs avec des profils persistants, des proxys, un mode furtif et une exploration asynchrone sur Chromium, Firefox et WebKit. Il fonctionne comme une bibliothèque, une CLI ou un serveur Docker protégé par jeton exposant une API REST et un point de terminaison MCP, prend en charge les analyses approfondies et adaptatives et est sous licence Apache-2.0.
Activité de maintenance