getumbrel/llama-gpt
LlamaGPT bündelt eine Chat-Oberfläche mit llama.cpp und einer Auswahl quantisierter Llama-2- und Code-Llama-Modelle, sodass Gespräche auf dem Gerät bleiben und keine Daten es verlassen. Die Installation erfolgt aus dem Umbrel-App-Store oder per Docker und Kubernetes, je nach Modellgröße werden 6 GB bis 41 GB Speicher benötigt, Nvidia-GPUs werden unterstützt. Neben der Chat-Oberfläche steht eine OpenAI-kompatible API bereit.
Wartungsaktivität