JustVugg/colibri
colibri ist eine reine C-Inferenz-Engine, die sehr große Expertenmischungsmodelle auf Consumer-Hardware ausführt, indem sie die dichten Gewichte im RAM behält und weitergeleitete Experten von der Festplatte streamt. Bei einem einstufigen Setup wird die Maschine überprüft, ein passendes Modell empfohlen, die Engine erstellt oder heruntergeladen und die Modell-Downloads fortgesetzt. Es bedient OpenAI- und Anthropic-kompatible APIs mit einem Browser-Dashboard und einer Chat-Benutzeroberfläche und unterstützt CUDA-, Vulkan- und Metal-Backends.
Wartungsaktivität