Gateway-uri AI
Endpoint-uri unificate, rutare și fallback între mai mulți furnizori de modele AI.
Gateway-uri AI
Gateway-urile AI pun o singură API în fața mai multor furnizori de modele, gestionând autentificarea, cotele, reîncercările și fallback-ul. Sunt utile atunci când doriți să schimbați modelele fără a rescrie codul aplicației.
Acest subiect acoperă gateway-uri care pot fi găzduite local și pluginuri de autentificare însoțitoare care expun mai multe modele comerciale și cu greutăți deschise printr-un singur endpoint.
5 proiecte
- cheaper-inference/OmniRoute — Gateway AI self-hosted care rutează un singur endpoint către 375 de furnizori — Rutare cu mai mulți furnizori: Da; Fallback și reîncercări: Da; Limite de tarife și bugete: Da; Punct final compatibil cu OpenAI: Da; Înregistrare și observabilitate: Parțial
- diegosouzapw/OmniRoute — Nu opriți niciodată codificarea. — Rutare cu mai mulți furnizori: Da; Fallback și reîncercări: Da; Limite de tarife și bugete: Da; Punct final compatibil cu OpenAI: Da; Înregistrare și observabilitate: Da; Cache pentru răspunsuri: Da; Guardrails și filtrare de conținut: Da
- BerriAI/litellm — Gateway AI self-hosted și SDK Python pentru peste 100 de furnizori LLM — Rutare cu mai mulți furnizori: Da; Fallback și reîncercări: Da; Limite de tarife și bugete: Da; Punct final compatibil cu OpenAI: Da; Înregistrare și observabilitate: Da; Cache pentru răspunsuri: Da; Guardrails și filtrare de conținut: Da
- Alph4d0g/opencode-omniroute-auth — furnizor de autentificare opencode pentru a se autentifica împotriva omniroute — Rutare cu mai mulți furnizori: Da; Fallback și reîncercări: Da; Limite de tarife și bugete: Da; Punct final compatibil cu OpenAI: Da; Înregistrare și observabilitate: Da; Cache pentru răspunsuri: Nu; Guardrails și filtrare de conținut: Nu
- Portkey-AI/gateway — Gateway AI ușor cu rutare, guardrails și peste 1600 de modele — Rutare cu mai mulți furnizori: Da; Fallback și reîncercări: Da; Punct final compatibil cu OpenAI: Da; Înregistrare și observabilitate: Da; Cache pentru răspunsuri: Da; Guardrails și filtrare de conținut: Da