getumbrel/llama-gpt
LlamaGPT regroupe une interface de chat, llama.cpp et un choix de modèles Llama 2 et Code Llama quantifiés, si bien que les conversations restent sur la machine et qu'aucune donnée n'en sort. L'installation passe par le magasin d'applications Umbrel ou par Docker et Kubernetes, demande entre 6 Go et 41 Go de mémoire selon la taille du modèle et peut utiliser des GPU Nvidia. Une API compatible OpenAI est exposée en plus de l'interface de chat.
Activité de maintenance