# vllm-project/vllm

> Durchsatzstarke Inferenz- und Serving-Engine für LLMs mit OpenAI-kompatibler API

Navigation: [Künstliche Intelligenz](category/artificial-intelligence.txt) · [Index](../llms.txt)

## Fakten

- GitHub: https://github.com/vllm-project/vllm
- HTML: https://awesomeopensource.dev/de/project/vllm-project-vllm
- Webseite: https://vllm.ai
- Lizenz: Apache-2.0
- Sprache: Python
- Sterne: 96871
- Themen: amd, blackwell, cuda, deepseek, deepseek-v3, gpt, gpt-oss, inference, kimi, llama, llm, llm-serving, model-serving, moe, openai, pytorch, qwen, qwen3, tpu, transformer
- Aktivitäts-Score: 5.0/5 (Sehr aktiv)
- Letzter Commit (beliebiger Branch): 2026-11-13
- Letztes Release: v0.33.0rc3 2026-11-02

## Beschreibung

Inferenz- und Serving-Engine für große Sprachmodelle in Python, auf NVIDIA-, AMD-, Intel- und CPU-Hardware. PagedAttention, Continuous Batching und Prefix-Caching halten den GPU-Speicher knapp und steigern den Durchsatz, während ein OpenAI-kompatibler Server Tensor-Parallelismus, Multi-LoRA und strukturierte Ausgabe ergänzt. Sie lädt über 200 Hugging-Face-Architekturen, unterstützt FP8-, INT4- und GGUF-Quantisierung und läuft aus einem Wheel oder Container.

## Wartungsaktivität

- Aktualität: 100% (weight 40%) — last commit: 0 days ago
- Commit-Volumen: 100% (weight 25%)
- Releases: 98% (weight 25%) — last release: 11 days ago
- Bugfixes: 100% (weight 10%)
- Commits: 5349 / 90d, 14088 / 365d

## Ähnliche Projekte

- [openclaw/openclaw](openclaw-openclaw.md): Open-Source-KI-Assistent auf eigener Hardware, der in den eigenen Chat-Apps mitläuft · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [n8n-io/n8n](n8n-io-n8n.md): Fair-Code-Workflow-Automatisierung mit visueller Oberfläche, eigenem Code und 1500+ Integrationen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [langgenius/dify](langgenius-dify.md): Visuelle Plattform für LLM-Anwendungen mit RAG-Pipelines, Agenten und Modellintegrationen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [open-webui/open-webui](open-webui-open-webui.md): Selbst gehostete Weboberfläche für Offline-Chats mit Ollama- und OpenAI-kompatiblen Modellen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [langchain-ai/langchain](langchain-ai-langchain.md): Python-Framework zum Erstellen von Agenten und LLM-Anwendungen aus wiederverwendbaren Komponenten · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [paperclipai/paperclip](paperclipai-paperclip.md): Ein Team aus KI-Agenten mit Zielen, Budgets und Aufgabenverfolgung steuern · Aktivitäts-Score 5.0/5 (Sehr aktiv)
