AlexsJones/llmfit
llmfit prüft CPU-Kerne, Systemspeicher, dedizierte und integrierte GPUs, VRAM und Unified Memory und schätzt, welche Modelle in den Quantisierungen GGUF, AWQ, GPTQ und EXL2 passen. Kandidaten werden nach Qualität, Geschwindigkeit, Passung und Kontext bewertet; geboten werden eine interaktive TUI, ein Web-Dashboard und eine JSON-REST-API. Modelle lassen sich zudem lokal laden, ausliefern und messen, Ergebnisse können als Pull Request zurückfließen.
Wartungsaktivität