AlexsJones/llmfit
llmfit inspecte les cœurs CPU, la mémoire système, les GPU dédiés et intégrés, la VRAM et la mémoire unifiée, puis estime quels modèles tiennent dans les quantifications GGUF, AWQ, GPTQ et EXL2. Il note les candidats selon la qualité, la vitesse, l'adéquation et le contexte, et propose une TUI interactive, un tableau de bord web et une API REST JSON. Les modèles peuvent aussi être téléchargés, servis et mesurés localement, les résultats étant renvoyés sous forme de pull requests.
Activité de maintenance