# ggml-org/llama.cpp

> C/C++-Inferenz-Engine, die quantisierte LLMs und Bildmodelle auf CPU und GPU ausführt

Navigation: [Künstliche Intelligenz](category/artificial-intelligence.txt) · [Index](../llms.txt)

## Fakten

- GitHub: https://github.com/ggml-org/llama.cpp
- HTML: https://awesomeopensource.dev/de/project/ggml-org-llama-cpp
- Webseite: https://llama.app
- Lizenz: MIT
- Sprache: C++
- Sterne: 134864
- Themen: ggml
- Aktivitäts-Score: 4.8/5 (Sehr aktiv)
- Letzter Commit (beliebiger Branch): 2026-11-13
- Letztes Release: v1.0.0 2026-11-13

## Beschreibung

Abhängigkeitsfreie Inferenz-Engine in C/C++ für große Sprach- und Bildmodelle, vom Laptop bis zum Server. Sie bietet 1,5- bis 8-Bit-Ganzzahlquantisierung, Apple-Metal-, CUDA-, HIP-, Vulkan- und SYCL-Backends sowie hybride CPU+GPU-Inferenz für Modelle, die größer als der verfügbare VRAM sind. Ein einziger Befehl lädt ein GGUF-Modell von Hugging Face, und llama-server bietet eine OpenAI-kompatible API mit integrierter Weboberfläche.

## Wartungsaktivität

- Aktualität: 100% (weight 40%) — last commit: 0 days ago
- Commit-Volumen: 100% (weight 25%)
- Releases: 100% (weight 25%) — last release: 0 days ago
- Bugfixes: 56% (weight 10%)
- Commits: 1923 / 90d, 5319 / 365d

## Ähnliche Projekte

- [openclaw/openclaw](openclaw-openclaw.md): Open-Source-KI-Assistent auf eigener Hardware, der in den eigenen Chat-Apps mitläuft · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [n8n-io/n8n](n8n-io-n8n.md): Fair-Code-Workflow-Automatisierung mit visueller Oberfläche, eigenem Code und 1500+ Integrationen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [langgenius/dify](langgenius-dify.md): Visuelle Plattform für LLM-Anwendungen mit RAG-Pipelines, Agenten und Modellintegrationen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [open-webui/open-webui](open-webui-open-webui.md): Selbst gehostete Weboberfläche für Offline-Chats mit Ollama- und OpenAI-kompatiblen Modellen · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [langchain-ai/langchain](langchain-ai-langchain.md): Python-Framework zum Erstellen von Agenten und LLM-Anwendungen aus wiederverwendbaren Komponenten · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [paperclipai/paperclip](paperclipai-paperclip.md): Ein Team aus KI-Agenten mit Zielen, Budgets und Aufgabenverfolgung steuern · Aktivitäts-Score 5.0/5 (Sehr aktiv)
