# Inferență LLM

> Rulați și serviți modele lingvistice cu greutăți deschise în mod eficient pe propriul hardware.

Navigare: [Index](../../llms.txt) · [HTML](https://awesomeopensource.dev/ro/topic/llm-inference)

Motoarele de inferență locală vă permit să rulați modele cu greutăți deschise fără a trimite date către o API găzduită. Acest subiect acoperă runtime-uri, tehnici de cuantizare și gateway-uri care fac modelele mari utilizabile pe hardware de consum și pe servere.

Folosiți această comparație atunci când trebuie să alegeți între portabilitate maximă, consum redus de memorie sau servire cu debit ridicat pentru propriile aplicații.

## Comparație de funcționalități

| Proiect | API compatibil cu OpenAI | Accelerație GPU | Suport de cuantizare | Inferență în lot | Implementarea Docker | Interfață web inclusă | Decodare speculativă |
|---|---|---|---|---|---|---|---|
| [vllm-project/vllm](../vllm-project-vllm.md) | Da | Da | Da | Da | Da | Nu | Da |
| [JustVugg/colibri](../justvugg-colibri.md) | Da | Da | Da | Da | Da | Da | Da |
| [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) | Nu | Nu | Nu | Nu | Nu | Nu | Nu |
| [RunanywhereAI/wally](../runanywhereai-wally.md) | Da | Nu | Nu | Nu | Da | Nu | Nu |
| [ollama/ollama](../ollama-ollama.md) | Da | Da | Da | – | Da | Nu | Nu |
| [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) | Da | Da | Da | Da | Da | Da | Da |
| [Niko1221/Strata](../niko1221-strata.md) | Da | Da | Da | – | – | Nu | Nu |
| [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) | Nu | Da | Da | – | Nu | Nu | Da |
| [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) | – | Da | Da | Da | Nu | – | Da |

## Funcționalități

- **API compatibil cu OpenAI**: Expune un punct final de finalizare a chatului în stil OpenAI.
- **Accelerație GPU**: Utilizează CUDA, ROCm sau alte backend-uri GPU.
- **Suport de cuantizare**: Încarcă formate de model cuantizate.
- **Inferență în lot**: Îmbunătățește debitul prin loturi sau atenție paginată.
- **Implementarea Docker**: Livrează o imagine Docker sau o configurație de compunere.
- **Interfață web inclusă**: Include o interfață de browser pentru a conversa cu modelele încărcate.
- **Decodare speculativă**: Accelerează generarea prin propunerea tokenilor cu un model mai mic sau cu n-grame.

## 9 proiecte

- [vllm-project/vllm](../vllm-project-vllm.md) · Scor de activitate 5.0/5 (Foarte activ)
- [JustVugg/colibri](../justvugg-colibri.md) · Scor de activitate 5.0/5 (Foarte activ)
- [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) · Scor de activitate 5.0/5 (Foarte activ)
- [RunanywhereAI/wally](../runanywhereai-wally.md) · Scor de activitate 5.0/5 (Foarte activ)
- [ollama/ollama](../ollama-ollama.md) · Scor de activitate 4.9/5 (Foarte activ)
- [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) · Scor de activitate 4.8/5 (Foarte activ)
- [Niko1221/Strata](../niko1221-strata.md) · Scor de activitate 4.8/5 (Foarte activ)
- [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) · Scor de activitate 4.6/5 (Foarte activ)
- [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) · Scor de activitate 3.6/5 (Activ)
