Niko1221/Strata
Un moteur d'inférence de bureau qui exécute de très grands modèles mixture-of-experts sur du matériel grand public en lisant sur le SSD les poids qui ne tiennent pas en mémoire. Il s'installe en un clic sous Windows et Linux, prend en charge Nvidia RTX série 30 à 50, AMD Radeon sous Linux, Ryzen AI Max et Apple Silicon, et expose sur localhost des API compatibles OpenAI et Anthropic, avec entrée d'images facultative. Sous licence MIT.
Activité de maintenance