Inferencia LLM
Ejecute y sirva modelos de lenguaje de pesos abiertos de forma eficiente en su propio hardware.
Inferencia LLM
Los motores de inferencia local permiten ejecutar modelos de pesos abiertos sin enviar datos a una API alojada. Este tema abarca runtimes, técnicas de cuantización y gateways que hacen utilizables los modelos grandes en hardware de consumo y de servidor.
Utilice esta comparación cuando necesite elegir entre máxima portabilidad, bajo uso de memoria o servicio de alto rendimiento para sus propias aplicaciones.
9 proyectos
- vllm-project/vllm — Motor de inferencia y servicio de alto rendimiento para LLM con API compatible con OpenAI — API compatible con OpenAI: Sí; aceleración de GPU: Sí; Soporte de cuantificación: Sí; inferencia por lotes: Sí; Implementación de Docker: Sí; Interfaz web incluida: No; Decodificación especulativa: Sí
- JustVugg/colibri — Ejecute GLM-5.2 (744B MoE) en una máquina de consumo de 25 GB de RAM: C puro, cero departamentos, expertos transmitidos desde el disco. — API compatible con OpenAI: Sí; aceleración de GPU: Sí; Soporte de cuantificación: Sí; inferencia por lotes: Sí; Implementación de Docker: Sí; Interfaz web incluida: Sí; Decodificación especulativa: Sí
- neuron-core/neuron-ai — Framework PHP para crear y orquestar agentes de IA — API compatible con OpenAI: No; aceleración de GPU: No; Soporte de cuantificación: No; inferencia por lotes: No; Implementación de Docker: No; Interfaz web incluida: No; Decodificación especulativa: No
- RunanywhereAI/wally — Póngase en marcha con GLM-5.3-flash, DeepSeek, Gemma y otros modelos fronterizos de código abierto — API compatible con OpenAI: Sí; aceleración de GPU: No; Soporte de cuantificación: No; inferencia por lotes: No; Implementación de Docker: Sí; Interfaz web incluida: No; Decodificación especulativa: No
- ollama/ollama — Runtime local que ejecuta LLM de pesos abiertos en macOS, Windows y Linux con un solo comando — API compatible con OpenAI: Sí; aceleración de GPU: Sí; Soporte de cuantificación: Sí; Implementación de Docker: Sí; Interfaz web incluida: No; Decodificación especulativa: No
- ggml-org/llama.cpp — Motor de inferencia en C/C++ que ejecuta LLM y modelos de visión cuantizados en CPU y GPU — API compatible con OpenAI: Sí; aceleración de GPU: Sí; Soporte de cuantificación: Sí; inferencia por lotes: Sí; Implementación de Docker: Sí; Interfaz web incluida: Sí; Decodificación especulativa: Sí
- Niko1221/Strata — Ejecuta modelos MoE muy grandes en local con descarga desde SSD y API local — API compatible con OpenAI: Sí; aceleración de GPU: Sí; Soporte de cuantificación: Sí; Interfaz web incluida: No; Decodificación especulativa: No
- stew675/llama-cpp-rdna-boosts — Patch series that tunes llama.cpp inference for AMD RDNA GPUs — API compatible con OpenAI: No; aceleración de GPU: Sí; Soporte de cuantificación: Sí; Implementación de Docker: No; Interfaz web incluida: No; Decodificación especulativa: Sí
- nasone32/llama.cpp-RDNA3-7900xtx-opt — llama.cpp fork tuned for AMD RDNA3 GPUs, with multi-GPU ROCm patches — aceleración de GPU: Sí; Soporte de cuantificación: Sí; inferencia por lotes: Sí; Implementación de Docker: No; Decodificación especulativa: Sí