# LLM-Inferenz

> Führen Sie Sprachmodelle mit offenen Gewichten effizient auf Ihrer eigenen Hardware aus und stellen Sie sie bereit.

Navigation: [Index](../../llms.txt) · [HTML](https://awesomeopensource.dev/de/topic/llm-inference)

Lokale Inferenz-Engines ermöglichen den Betrieb von Modellen mit offenen Gewichten, ohne Daten an eine gehostete API zu senden. Dieses Thema behandelt Runtimes, Quantisierungstechniken und Gateways, die große Modelle auf Consumer- und Server-Hardware nutzbar machen.

Nutzen Sie diesen Vergleich, wenn Sie für Ihre eigenen Anwendungen zwischen maximaler Portabilität, geringem Speicherverbrauch oder Serving mit hohem Durchsatz wählen müssen.

## Funktionsvergleich

| Projekt | OpenAI-kompatible API | GPU-Beschleunigung | Quantisierungsunterstützung | Batch-Schlussfolgerung | Docker-Bereitstellung | Integrierte Web-UI | Spekulatives Decoding |
|---|---|---|---|---|---|---|---|
| [vllm-project/vllm](../vllm-project-vllm.md) | Ja | Ja | Ja | Ja | Ja | Nein | Ja |
| [JustVugg/colibri](../justvugg-colibri.md) | Ja | Ja | Ja | Ja | Ja | Ja | Ja |
| [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| [RunanywhereAI/wally](../runanywhereai-wally.md) | Ja | Nein | Nein | Nein | Ja | Nein | Nein |
| [ollama/ollama](../ollama-ollama.md) | Ja | Ja | Ja | – | Ja | Nein | Nein |
| [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) | Ja | Ja | Ja | Ja | Ja | Ja | Ja |
| [Niko1221/Strata](../niko1221-strata.md) | Ja | Ja | Ja | – | – | Nein | Nein |
| [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) | Nein | Ja | Ja | – | Nein | Nein | Ja |
| [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) | – | Ja | Ja | Ja | Nein | – | Ja |

## Funktionen

- **OpenAI-kompatible API**: Stellt einen Chat-Abschlussendpunkt im OpenAI-Stil bereit.
- **GPU-Beschleunigung**: Verwendet CUDA, ROCm oder andere GPU-Backends.
- **Quantisierungsunterstützung**: Lädt quantisierte Modellformate.
- **Batch-Schlussfolgerung**: Verbessert den Durchsatz durch Stapelverarbeitung oder ausgelagerte Aufmerksamkeit.
- **Docker-Bereitstellung**: Versendet ein Docker-Image oder ein Compose-Setup.
- **Integrierte Web-UI**: Liefert eine Browseroberfläche für Chats mit geladenen Modellen.
- **Spekulatives Decoding**: Beschleunigt die Generierung durch Token-Entwürfe mit einem kleineren Modell oder n-Grammen.

## 9 Projekte

- [vllm-project/vllm](../vllm-project-vllm.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [JustVugg/colibri](../justvugg-colibri.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [RunanywhereAI/wally](../runanywhereai-wally.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [ollama/ollama](../ollama-ollama.md) · Aktivitäts-Score 4.9/5 (Sehr aktiv)
- [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) · Aktivitäts-Score 4.8/5 (Sehr aktiv)
- [Niko1221/Strata](../niko1221-strata.md) · Aktivitäts-Score 4.8/5 (Sehr aktiv)
- [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) · Aktivitäts-Score 4.6/5 (Sehr aktiv)
- [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) · Aktivitäts-Score 3.6/5 (Aktiv)
