Inférence LLM
Exécutez et servez des modèles de langage à poids ouverts efficacement sur votre propre matériel.
Inférence LLM
Les moteurs d'inférence locaux permettent d'exécuter des modèles à poids ouverts sans envoyer de données à une API hébergée. Ce thème couvre les runtimes, les techniques de quantification et les passerelles qui rendent les grands modèles utilisables sur du matériel grand public et des serveurs.
Utilisez cette comparaison lorsque vous devez choisir entre une portabilité maximale, une faible consommation de mémoire ou une diffusion à haut débit pour vos propres applications.
9 projets
- vllm-project/vllm — Moteur d'inférence et de service à haut débit pour LLM avec API compatible OpenAI — API compatible OpenAI: Oui; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Inférence par lots: Oui; Déploiement Docker: Oui; Interface web intégrée: Non; Décodage spéculatif: Oui
- JustVugg/colibri — Exécutez GLM-5.2 (744 B MoE) sur une machine grand public de 25 Go de RAM : C pur, zéro dépôt, experts diffusés à partir du disque. — API compatible OpenAI: Oui; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Inférence par lots: Oui; Déploiement Docker: Oui; Interface web intégrée: Oui; Décodage spéculatif: Oui
- neuron-core/neuron-ai — Framework PHP pour créer et orchestrer des agents IA — API compatible OpenAI: Non; Accélération GPU: Non; Prise en charge de la quantification: Non; Inférence par lots: Non; Déploiement Docker: Non; Interface web intégrée: Non; Décodage spéculatif: Non
- RunanywhereAI/wally — Soyez opérationnel avec GLM-5.3-flash, DeepSeek, Gemma et d'autres modèles open source — API compatible OpenAI: Oui; Accélération GPU: Non; Prise en charge de la quantification: Non; Inférence par lots: Non; Déploiement Docker: Oui; Interface web intégrée: Non; Décodage spéculatif: Non
- ollama/ollama — Runtime local qui exécute des LLM à poids ouverts sur macOS, Windows et Linux avec une seule commande — API compatible OpenAI: Oui; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Déploiement Docker: Oui; Interface web intégrée: Non; Décodage spéculatif: Non
- ggml-org/llama.cpp — Moteur d'inférence en C/C++ qui exécute des LLM et modèles de vision quantifiés sur CPU et GPU — API compatible OpenAI: Oui; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Inférence par lots: Oui; Déploiement Docker: Oui; Interface web intégrée: Oui; Décodage spéculatif: Oui
- Niko1221/Strata — Exécuter de très grands modèles MoE en local avec déport SSD et API locale — API compatible OpenAI: Oui; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Interface web intégrée: Non; Décodage spéculatif: Non
- stew675/llama-cpp-rdna-boosts — Patch series that tunes llama.cpp inference for AMD RDNA GPUs — API compatible OpenAI: Non; Accélération GPU: Oui; Prise en charge de la quantification: Oui; Déploiement Docker: Non; Interface web intégrée: Non; Décodage spéculatif: Oui
- nasone32/llama.cpp-RDNA3-7900xtx-opt — llama.cpp fork tuned for AMD RDNA3 GPUs, with multi-GPU ROCm patches — Accélération GPU: Oui; Prise en charge de la quantification: Oui; Inférence par lots: Oui; Déploiement Docker: Non; Décodage spéculatif: Oui