ggml-org/llama.cpp
Moteur d'inférence en C/C++ sans dépendances pour grands modèles de langage et de vision, du portable au serveur. Il propose une quantification entière de 1,5 à 8 bits, des backends Apple Metal, CUDA, HIP, Vulkan et SYCL, ainsi qu'une inférence hybride CPU+GPU pour les modèles plus grands que la VRAM disponible. Une seule commande télécharge un modèle GGUF depuis Hugging Face, et llama-server expose une API compatible OpenAI avec interface web intégrée.
Activité de maintenance