JustVugg/colibri
colibri este un motor de inferență pur C care rulează modele foarte mari de amestec de experți pe hardware de consum, păstrând greutățile dense în RAM și transmiterea experților direcționați de pe disc. O configurare într-un singur pas inspectează mașina, recomandă un model care se potrivește, construiește sau descarcă motorul și reia descărcările modelului. Acesta servește API-uri compatibile cu OpenAI și Anthropic cu un tablou de bord al browserului și o interfață de utilizare de chat și acceptă backend-uri CUDA, Vulkan și Metal.
Activitate de mentenanță