Inferență LLM
Rulați și serviți modele lingvistice cu greutăți deschise în mod eficient pe propriul hardware.
Inferență LLM
Motoarele de inferență locală vă permit să rulați modele cu greutăți deschise fără a trimite date către o API găzduită. Acest subiect acoperă runtime-uri, tehnici de cuantizare și gateway-uri care fac modelele mari utilizabile pe hardware de consum și pe servere.
Folosiți această comparație atunci când trebuie să alegeți între portabilitate maximă, consum redus de memorie sau servire cu debit ridicat pentru propriile aplicații.
9 proiecte
- vllm-project/vllm — Motor de inferență și servire de mare debit pentru LLM-uri, cu API compatibil OpenAI — API compatibil cu OpenAI: Da; Accelerație GPU: Da; Suport de cuantizare: Da; Inferență în lot: Da; Implementarea Docker: Da; Interfață web inclusă: Nu; Decodare speculativă: Da
- JustVugg/colibri — Rulați GLM-5.2 (744B MoE) pe o mașină de consum de 25 GB-RAM - C pur, zero dep, experți transmise în flux de pe disc. — API compatibil cu OpenAI: Da; Accelerație GPU: Da; Suport de cuantizare: Da; Inferență în lot: Da; Implementarea Docker: Da; Interfață web inclusă: Da; Decodare speculativă: Da
- neuron-core/neuron-ai — Framework PHP pentru construirea și orchestrarea agenților AI — API compatibil cu OpenAI: Nu; Accelerație GPU: Nu; Suport de cuantizare: Nu; Inferență în lot: Nu; Implementarea Docker: Nu; Interfață web inclusă: Nu; Decodare speculativă: Nu
- RunanywhereAI/wally — Puneți în funcțiune cu GLM-5.3-flash, DeepSeek, Gemma și alte modele de frontieră open source — API compatibil cu OpenAI: Da; Accelerație GPU: Nu; Suport de cuantizare: Nu; Inferență în lot: Nu; Implementarea Docker: Da; Interfață web inclusă: Nu; Decodare speculativă: Nu
- ollama/ollama — Runtime local care rulează LLM-uri cu greutăți deschise pe macOS, Windows și Linux cu o singură comandă — API compatibil cu OpenAI: Da; Accelerație GPU: Da; Suport de cuantizare: Da; Implementarea Docker: Da; Interfață web inclusă: Nu; Decodare speculativă: Nu
- ggml-org/llama.cpp — Motor de inferență în C/C++ care rulează LLM-uri și modele de viziune cuantizate pe CPU și GPU — API compatibil cu OpenAI: Da; Accelerație GPU: Da; Suport de cuantizare: Da; Inferență în lot: Da; Implementarea Docker: Da; Interfață web inclusă: Da; Decodare speculativă: Da
- Niko1221/Strata — Rulează modele MoE foarte mari local, cu descărcare de pe SSD și API local — API compatibil cu OpenAI: Da; Accelerație GPU: Da; Suport de cuantizare: Da; Interfață web inclusă: Nu; Decodare speculativă: Nu
- stew675/llama-cpp-rdna-boosts — Patch series that tunes llama.cpp inference for AMD RDNA GPUs — API compatibil cu OpenAI: Nu; Accelerație GPU: Da; Suport de cuantizare: Da; Implementarea Docker: Nu; Interfață web inclusă: Nu; Decodare speculativă: Da
- nasone32/llama.cpp-RDNA3-7900xtx-opt — llama.cpp fork tuned for AMD RDNA3 GPUs, with multi-GPU ROCm patches — Accelerație GPU: Da; Suport de cuantizare: Da; Inferență în lot: Da; Implementarea Docker: Nu; Decodare speculativă: Da