BerriAI/litellm
LiteLLM ist ein KI-Gateway, das über 100 Modellanbieter über eine einzige OpenAI-kompatible API bereitstellt. Es läuft als Python-SDK oder als Proxy-Server mit virtuellen Schlüsseln, Ausgabenverfolgung, Budgets, Ratenlimits, Guardrails, Load Balancing und einem Admin-Dashboard. Anfragen lassen sich zwischen OpenAI, Anthropic, Gemini, Bedrock, Azure und anderen Anbietern routen, wiederholen und bei Fehlern umleiten, und das Python-Projekt bietet Docker-Deployment für ein selbst gehostetes Gateway.
Wartungsaktivität