AlexsJones/llmfit
llmfit inspectează nucleele CPU, memoria sistemului, GPU-urile dedicate și integrate, VRAM-ul și memoria unificată, apoi estimează ce modele se potrivesc pentru cuantizările GGUF, AWQ, GPTQ și EXL2. Scorează candidații după calitate, viteză, potrivire și context și oferă o interfață TUI, un tablou de bord web și o API REST JSON. Modelele pot fi descărcate, servite și benchmark-uite local, iar rezultatele pot fi trimise înapoi ca pull request.
Activitate de mentenanță