ggml-org/llama.cpp
Motor de inferență în C/C++ fără dependențe pentru modele mari de limbaj și de viziune, de la laptopuri la servere. Oferă cuantizare pe 1,5–8 biți, backend-uri Apple Metal, CUDA, HIP, Vulkan și SYCL, plus inferență hibridă CPU+GPU pentru modele mai mari decât VRAM-ul disponibil. O singură comandă descarcă un model GGUF de pe Hugging Face, iar llama-server expune o API compatibilă OpenAI cu interfață web inclusă.
Activitate de mentenanță