ggml-org/llama.cpp
Motor de inferencia en C/C++ sin dependencias para modelos grandes de lenguaje y visión, desde portátiles hasta servidores. Ofrece cuantización entera de 1,5 a 8 bits, backends Apple Metal, CUDA, HIP, Vulkan y SYCL, además de inferencia híbrida CPU+GPU para modelos mayores que la VRAM disponible. Un solo comando descarga un modelo GGUF desde Hugging Face y llama-server expone una API compatible con OpenAI con interfaz web incluida.
Actividad de mantenimiento