vllm-project/vllm
Motor de inferencia y servicio para modelos de lenguaje grandes escrito en Python, sobre hardware NVIDIA, AMD, Intel y CPU. PagedAttention, el batching continuo y la caché de prefijos mantienen ajustada la memoria de la GPU y elevan el rendimiento, mientras que el servidor compatible con OpenAI añade paralelismo tensorial, multi-LoRA y salida estructurada. Carga más de 200 arquitecturas de Hugging Face, soporta cuantización FP8, INT4 y GGUF y se ejecuta desde un wheel o un contenedor.
Actividad de mantenimiento