vllm-project/vllm
Motor de inferență și servire pentru modele lingvistice mari, scris în Python, pe hardware NVIDIA, AMD, Intel și CPU. PagedAttention, batching-ul continuu și cache-ul de prefix reduc memoria GPU și cresc debitul, iar serverul compatibil OpenAI adaugă paralelism tensor, multi-LoRA și output structurat. Încarcă peste 200 de arhitecturi Hugging Face, suportă cuantizare FP8, INT4 și GGUF și rulează dintr-un wheel sau container.
Activitate de mentenanță