getumbrel/llama-gpt
LlamaGPT împachetează o interfață de chat cu llama.cpp și o selecție de modele Llama 2 și Code Llama cuantizate, astfel încât conversațiile rămân pe mașină și niciun dat nu o părăsește. Se instalează din magazinul de aplicații Umbrel sau cu Docker și Kubernetes, are nevoie de 6 GB până la 41 GB de memorie în funcție de dimensiunea modelului și poate folosi GPU-uri Nvidia. Pe lângă interfața de chat este expus un API compatibil OpenAI.
Activitate de mentenanță