Niko1221/Strata
Eine Desktop-Inferenz-Engine, die sehr große Mixture-of-Experts-Modelle auf Consumer-Hardware ausführt, indem sie die nicht in den Speicher passenden Gewichte von einer SSD streamt. Die Installation gelingt unter Windows und Linux mit einem Klick, unterstützt werden Nvidia RTX der Serien 30 bis 50, AMD Radeon unter Linux, Ryzen AI Max und Apple Silicon, dazu OpenAI- und Anthropic-kompatible APIs auf localhost mit optionaler Bildeingabe. Lizenziert unter MIT.
Wartungsaktivität