# Inférence LLM

> Exécutez et servez des modèles de langage à poids ouverts efficacement sur votre propre matériel.

Navigation: [Index](../../llms.txt) · [HTML](https://awesomeopensource.dev/fr/topic/llm-inference)

Les moteurs d'inférence locaux permettent d'exécuter des modèles à poids ouverts sans envoyer de données à une API hébergée. Ce thème couvre les runtimes, les techniques de quantification et les passerelles qui rendent les grands modèles utilisables sur du matériel grand public et des serveurs.

Utilisez cette comparaison lorsque vous devez choisir entre une portabilité maximale, une faible consommation de mémoire ou une diffusion à haut débit pour vos propres applications.

## Comparaison des fonctionnalités

| Projet | API compatible OpenAI | Accélération GPU | Prise en charge de la quantification | Inférence par lots | Déploiement Docker | Interface web intégrée | Décodage spéculatif |
|---|---|---|---|---|---|---|---|
| [vllm-project/vllm](../vllm-project-vllm.md) | Oui | Oui | Oui | Oui | Oui | Non | Oui |
| [JustVugg/colibri](../justvugg-colibri.md) | Oui | Oui | Oui | Oui | Oui | Oui | Oui |
| [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) | Non | Non | Non | Non | Non | Non | Non |
| [RunanywhereAI/wally](../runanywhereai-wally.md) | Oui | Non | Non | Non | Oui | Non | Non |
| [ollama/ollama](../ollama-ollama.md) | Oui | Oui | Oui | – | Oui | Non | Non |
| [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) | Oui | Oui | Oui | Oui | Oui | Oui | Oui |
| [Niko1221/Strata](../niko1221-strata.md) | Oui | Oui | Oui | – | – | Non | Non |
| [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) | Non | Oui | Oui | – | Non | Non | Oui |
| [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) | – | Oui | Oui | Oui | Non | – | Oui |

## Fonctionnalités

- **API compatible OpenAI**: Expose un point de terminaison de complétion de chat de style OpenAI.
- **Accélération GPU**: Utilise CUDA, ROCm ou d'autres backends GPU.
- **Prise en charge de la quantification**: Charge les formats de modèle quantifiés.
- **Inférence par lots**: Améliore le débit grâce au traitement par lots ou à l'attention paginée.
- **Déploiement Docker**: Envoie une image Docker ou une configuration de composition.
- **Interface web intégrée**: Fournit une interface navigateur pour dialoguer avec les modèles chargés.
- **Décodage spéculatif**: Accélère la génération en proposant des tokens avec un modèle plus petit ou des n-grammes.

## 9 projets

- [vllm-project/vllm](../vllm-project-vllm.md) · Score d'activité 5.0/5 (Très actif)
- [JustVugg/colibri](../justvugg-colibri.md) · Score d'activité 5.0/5 (Très actif)
- [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) · Score d'activité 5.0/5 (Très actif)
- [RunanywhereAI/wally](../runanywhereai-wally.md) · Score d'activité 5.0/5 (Très actif)
- [ollama/ollama](../ollama-ollama.md) · Score d'activité 4.9/5 (Très actif)
- [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) · Score d'activité 4.8/5 (Très actif)
- [Niko1221/Strata](../niko1221-strata.md) · Score d'activité 4.8/5 (Très actif)
- [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) · Score d'activité 4.6/5 (Très actif)
- [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) · Score d'activité 3.6/5 (Actif)
