vllm-project/vllm
Moteur d'inférence et de service pour grands modèles de langage écrit en Python, sur matériel NVIDIA, AMD, Intel et CPU. PagedAttention, le batching continu et le cache de préfixes maîtrisent la mémoire GPU tout en augmentant le débit, et le serveur compatible OpenAI ajoute parallélisme tensoriel, multi-LoRA et sortie structurée. Il charge plus de 200 architectures Hugging Face, prend en charge la quantification FP8, INT4 et GGUF et s'exécute depuis un wheel ou un conteneur.
Activité de maintenance