ggml-org/llama.cpp
Abhängigkeitsfreie Inferenz-Engine in C/C++ für große Sprach- und Bildmodelle, vom Laptop bis zum Server. Sie bietet 1,5- bis 8-Bit-Ganzzahlquantisierung, Apple-Metal-, CUDA-, HIP-, Vulkan- und SYCL-Backends sowie hybride CPU+GPU-Inferenz für Modelle, die größer als der verfügbare VRAM sind. Ein einziger Befehl lädt ein GGUF-Modell von Hugging Face, und llama-server bietet eine OpenAI-kompatible API mit integrierter Weboberfläche.
Wartungsaktivität