KI-Gateways
Einheitliche Endpunkte, Routing und Fallback über mehrere KI-Modellanbieter hinweg.
KI-Gateways
KI-Gateways setzen eine einzige API vor viele Modellanbieter und übernehmen Authentifizierung, Kontingente, Wiederholungsversuche und Fallback. Sie sind nützlich, wenn Sie Modelle wechseln möchten, ohne den Anwendungscode umzuschreiben.
Dieses Thema behandelt selbst hostbare Gateways und begleitende Authentifizierungs-Plugins, die mehrere kommerzielle und offene Modelle über einen einzigen Endpunkt bereitstellen.
5 Projekte
- cheaper-inference/OmniRoute — Selbst gehostetes KI-Gateway, das einen Endpunkt auf 375 Anbieter routet — Multi-Provider-Routing: Ja; Fallback und Wiederholungsversuche: Ja; Ratenlimits und Budgets: Ja; OpenAI-kompatibler Endpunkt: Ja; Protokollierung und Beobachtbarkeit: Teilweise
- diegosouzapw/OmniRoute — Hören Sie nie auf zu programmieren. — Multi-Provider-Routing: Ja; Fallback und Wiederholungsversuche: Ja; Ratenlimits und Budgets: Ja; OpenAI-kompatibler Endpunkt: Ja; Protokollierung und Beobachtbarkeit: Ja; Antwort-Caching: Ja; Guardrails und Inhaltsfilter: Ja
- BerriAI/litellm — Selbst gehostetes KI-Gateway und Python-SDK für über 100 LLM-Anbieter — Multi-Provider-Routing: Ja; Fallback und Wiederholungsversuche: Ja; Ratenlimits und Budgets: Ja; OpenAI-kompatibler Endpunkt: Ja; Protokollierung und Beobachtbarkeit: Ja; Antwort-Caching: Ja; Guardrails und Inhaltsfilter: Ja
- Alph4d0g/opencode-omniroute-auth — Opencode-Authentifizierungsanbieter zur Authentifizierung bei Omniroute — Multi-Provider-Routing: Ja; Fallback und Wiederholungsversuche: Ja; Ratenlimits und Budgets: Ja; OpenAI-kompatibler Endpunkt: Ja; Protokollierung und Beobachtbarkeit: Ja; Antwort-Caching: Nein; Guardrails und Inhaltsfilter: Nein
- Portkey-AI/gateway — Leichtgewichtiges KI-Gateway mit Routing, Guardrails und über 1600 Modellen — Multi-Provider-Routing: Ja; Fallback und Wiederholungsversuche: Ja; OpenAI-kompatibler Endpunkt: Ja; Protokollierung und Beobachtbarkeit: Ja; Antwort-Caching: Ja; Guardrails und Inhaltsfilter: Ja