getumbrel/llama-gpt
LlamaGPT empaqueta una interfaz de chat con llama.cpp y una selección de modelos Llama 2 y Code Llama cuantizados, de modo que las conversaciones se quedan en la máquina y ningún dato sale de ella. Se instala desde la tienda de aplicaciones de Umbrel o con Docker y Kubernetes, requiere entre 6 GB y 41 GB de memoria según el tamaño del modelo y puede usar GPU de Nvidia. Junto a la interfaz de chat expone una API compatible con OpenAI.
Actividad de mantenimiento