BerriAI/litellm
LiteLLM este un gateway AI care expune peste 100 de furnizori de modele printr-o singură API compatibilă OpenAI. Rulează ca SDK Python sau ca server proxy cu chei virtuale, urmărirea cheltuielilor, bugete, limite de rată, guardrails, load balancing și un dashboard de administrare. Cererile pot fi rutate, reîncercate și preluate de la alți furnizori între OpenAI, Anthropic, Gemini, Bedrock, Azure și altele, iar proiectul scris în Python oferă opțiuni de implementare Docker pentru un gateway self-hosted.
Activitate de mentenanță