LLM-Inferenz
Führen Sie Sprachmodelle mit offenen Gewichten effizient auf Ihrer eigenen Hardware aus und stellen Sie sie bereit.
LLM-Inferenz
Lokale Inferenz-Engines ermöglichen den Betrieb von Modellen mit offenen Gewichten, ohne Daten an eine gehostete API zu senden. Dieses Thema behandelt Runtimes, Quantisierungstechniken und Gateways, die große Modelle auf Consumer- und Server-Hardware nutzbar machen.
Nutzen Sie diesen Vergleich, wenn Sie für Ihre eigenen Anwendungen zwischen maximaler Portabilität, geringem Speicherverbrauch oder Serving mit hohem Durchsatz wählen müssen.
9 Projekte
- vllm-project/vllm — Durchsatzstarke Inferenz- und Serving-Engine für LLMs mit OpenAI-kompatibler API — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Batch-Schlussfolgerung: Ja; Docker-Bereitstellung: Ja; Integrierte Web-UI: Nein; Spekulatives Decoding: Ja
- JustVugg/colibri — Führen Sie GLM-5.2 (744B MoE) auf einem 25-GB-RAM-Consumer-Rechner aus – reines C, keine Deps, Experten-Streaming von der Festplatte. — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Batch-Schlussfolgerung: Ja; Docker-Bereitstellung: Ja; Integrierte Web-UI: Ja; Spekulatives Decoding: Ja
- neuron-core/neuron-ai — PHP-Framework zum Erstellen und Orchestrieren von KI-Agenten — OpenAI-kompatible API: Nein; GPU-Beschleunigung: Nein; Quantisierungsunterstützung: Nein; Batch-Schlussfolgerung: Nein; Docker-Bereitstellung: Nein; Integrierte Web-UI: Nein; Spekulatives Decoding: Nein
- RunanywhereAI/wally — Starten Sie mit GLM-5.3-Flash, DeepSeek, Gemma und anderen Open-Source-Frontier-Modellen — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Nein; Quantisierungsunterstützung: Nein; Batch-Schlussfolgerung: Nein; Docker-Bereitstellung: Ja; Integrierte Web-UI: Nein; Spekulatives Decoding: Nein
- ollama/ollama — Lokale Runtime, die Open-Weight-LLMs unter macOS, Windows und Linux mit einem Befehl ausführt — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Docker-Bereitstellung: Ja; Integrierte Web-UI: Nein; Spekulatives Decoding: Nein
- ggml-org/llama.cpp — C/C++-Inferenz-Engine, die quantisierte LLMs und Bildmodelle auf CPU und GPU ausführt — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Batch-Schlussfolgerung: Ja; Docker-Bereitstellung: Ja; Integrierte Web-UI: Ja; Spekulatives Decoding: Ja
- Niko1221/Strata — Sehr große MoE-Modelle lokal mit SSD-Auslagerung und lokaler API betreiben — OpenAI-kompatible API: Ja; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Integrierte Web-UI: Nein; Spekulatives Decoding: Nein
- stew675/llama-cpp-rdna-boosts — Patch series that tunes llama.cpp inference for AMD RDNA GPUs — OpenAI-kompatible API: Nein; GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Docker-Bereitstellung: Nein; Integrierte Web-UI: Nein; Spekulatives Decoding: Ja
- nasone32/llama.cpp-RDNA3-7900xtx-opt — llama.cpp fork tuned for AMD RDNA3 GPUs, with multi-GPU ROCm patches — GPU-Beschleunigung: Ja; Quantisierungsunterstützung: Ja; Batch-Schlussfolgerung: Ja; Docker-Bereitstellung: Nein; Spekulatives Decoding: Ja