JustVugg/colibri
colibri est un moteur d'inférence purement C qui exécute de très grands modèles de mélange d'experts sur du matériel grand public en conservant les poids denses en RAM et en diffusant des experts routés à partir du disque. Une configuration en une étape inspecte la machine, recommande un modèle qui s'adapte, construit ou télécharge le moteur, et reprend les téléchargements de modèles. Il sert des API compatibles OpenAI et Anthropic avec un tableau de bord de navigateur et une interface utilisateur de chat, et prend en charge les backends CUDA, Vulkan et Metal.
Activité de maintenance