# Inferencia LLM

> Ejecute y sirva modelos de lenguaje de pesos abiertos de forma eficiente en su propio hardware.

Navegación: [Índice](../../llms.txt) · [HTML](https://awesomeopensource.dev/es/topic/llm-inference)

Los motores de inferencia local permiten ejecutar modelos de pesos abiertos sin enviar datos a una API alojada. Este tema abarca runtimes, técnicas de cuantización y gateways que hacen utilizables los modelos grandes en hardware de consumo y de servidor.

Utilice esta comparación cuando necesite elegir entre máxima portabilidad, bajo uso de memoria o servicio de alto rendimiento para sus propias aplicaciones.

## Comparación de funciones

| Proyecto | API compatible con OpenAI | aceleración de GPU | Soporte de cuantificación | inferencia por lotes | Implementación de Docker | Interfaz web incluida | Decodificación especulativa |
|---|---|---|---|---|---|---|---|
| [vllm-project/vllm](../vllm-project-vllm.md) | Sí | Sí | Sí | Sí | Sí | No | Sí |
| [JustVugg/colibri](../justvugg-colibri.md) | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
| [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) | No | No | No | No | No | No | No |
| [RunanywhereAI/wally](../runanywhereai-wally.md) | Sí | No | No | No | Sí | No | No |
| [ollama/ollama](../ollama-ollama.md) | Sí | Sí | Sí | – | Sí | No | No |
| [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
| [Niko1221/Strata](../niko1221-strata.md) | Sí | Sí | Sí | – | – | No | No |
| [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) | No | Sí | Sí | – | No | No | Sí |
| [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) | – | Sí | Sí | Sí | No | – | Sí |

## Funciones

- **API compatible con OpenAI**: Expone un punto final de finalización de chat estilo OpenAI.
- **aceleración de GPU**: Utiliza CUDA, ROCm u otros backends de GPU.
- **Soporte de cuantificación**: Carga formatos de modelos cuantificados.
- **inferencia por lotes**: Mejora el rendimiento con procesamiento por lotes o atención paginada.
- **Implementación de Docker**: Envía una imagen de Docker o una configuración de redacción.
- **Interfaz web incluida**: Incluye una interfaz de navegador para conversar con los modelos cargados.
- **Decodificación especulativa**: Acelera la generación proponiendo tokens con un modelo más pequeño o n-gramas.

## 9 proyectos

- [vllm-project/vllm](../vllm-project-vllm.md) · Puntuación de actividad 5.0/5 (Muy activo)
- [JustVugg/colibri](../justvugg-colibri.md) · Puntuación de actividad 5.0/5 (Muy activo)
- [neuron-core/neuron-ai](../neuron-core-neuron-ai.md) · Puntuación de actividad 5.0/5 (Muy activo)
- [RunanywhereAI/wally](../runanywhereai-wally.md) · Puntuación de actividad 5.0/5 (Muy activo)
- [ollama/ollama](../ollama-ollama.md) · Puntuación de actividad 4.9/5 (Muy activo)
- [ggml-org/llama.cpp](../ggml-org-llama-cpp.md) · Puntuación de actividad 4.8/5 (Muy activo)
- [Niko1221/Strata](../niko1221-strata.md) · Puntuación de actividad 4.8/5 (Muy activo)
- [stew675/llama-cpp-rdna-boosts](../stew675-llama-cpp-rdna-boosts.md) · Puntuación de actividad 4.6/5 (Muy activo)
- [nasone32/llama.cpp-RDNA3-7900xtx-opt](../nasone32-llama-cpp-rdna3-7900xtx-opt.md) · Puntuación de actividad 3.6/5 (Activo)
