vllm-project/vllm
Inferenz- und Serving-Engine für große Sprachmodelle in Python, auf NVIDIA-, AMD-, Intel- und CPU-Hardware. PagedAttention, Continuous Batching und Prefix-Caching halten den GPU-Speicher knapp und steigern den Durchsatz, während ein OpenAI-kompatibler Server Tensor-Parallelismus, Multi-LoRA und strukturierte Ausgabe ergänzt. Sie lädt über 200 Hugging-Face-Architekturen, unterstützt FP8-, INT4- und GGUF-Quantisierung und läuft aus einem Wheel oder Container.
Wartungsaktivität