JustVugg/colibri
colibri es un motor de inferencia en C puro que ejecuta modelos de mezcla de expertos muy grandes en hardware de consumo manteniendo los pesos densos en la RAM y transmitiendo expertos enrutados desde el disco. Una configuración de un solo paso inspecciona la máquina, recomienda un modelo que se ajuste, construye o descarga el motor y reanuda las descargas de modelos. Sirve API compatibles con OpenAI y Anthropic con un panel de navegador y una interfaz de usuario de chat, y es compatible con backends CUDA, Vulkan y Metal.
Actividad de mantenimiento