# KI-Gateways

> Einheitliche Endpunkte, Routing und Fallback über mehrere KI-Modellanbieter hinweg.

Navigation: [Index](../../llms.txt) · [HTML](https://awesomeopensource.dev/de/topic/ai-gateways)

KI-Gateways setzen eine einzige API vor viele Modellanbieter und übernehmen Authentifizierung, Kontingente, Wiederholungsversuche und Fallback. Sie sind nützlich, wenn Sie Modelle wechseln möchten, ohne den Anwendungscode umzuschreiben.

Dieses Thema behandelt selbst hostbare Gateways und begleitende Authentifizierungs-Plugins, die mehrere kommerzielle und offene Modelle über einen einzigen Endpunkt bereitstellen.

## Funktionsvergleich

| Projekt | Multi-Provider-Routing | Fallback und Wiederholungsversuche | Ratenlimits und Budgets | OpenAI-kompatibler Endpunkt | Protokollierung und Beobachtbarkeit | Antwort-Caching | Guardrails und Inhaltsfilter |
|---|---|---|---|---|---|---|---|
| [cheaper-inference/OmniRoute](../cheaper-inference-omniroute.md) | Ja | Ja | Ja | Ja | Teilweise | – | – |
| [diegosouzapw/OmniRoute](../diegosouzapw-omniroute.md) | Ja | Ja | Ja | Ja | Ja | Ja | Ja |
| [BerriAI/litellm](../berriai-litellm.md) | Ja | Ja | Ja | Ja | Ja | Ja | Ja |
| [Alph4d0g/opencode-omniroute-auth](../alph4d0g-opencode-omniroute-auth.md) | Ja | Ja | Ja | Ja | Ja | Nein | Nein |
| [Portkey-AI/gateway](../portkey-ai-gateway.md) | Ja | Ja | – | Ja | Ja | Ja | Ja |

## Funktionen

- **Multi-Provider-Routing**: Leitet Anfragen über mehrere Modellanbieter hinweg weiter.
- **Fallback und Wiederholungsversuche**: Failover zwischen Anbietern oder erneute Versuche bei Anfragen.
- **Ratenlimits und Budgets**: Kontrolliert die Nutzung mit Kontingenten, Ratenlimits oder Kostenbudgets.
- **OpenAI-kompatibler Endpunkt**: Akzeptiert Anfragen im OpenAI-Stil, damit bestehende Clients funktionieren.
- **Protokollierung und Beobachtbarkeit**: Zeichnet Anfragen, Traces oder Nutzungsmetriken auf.
- **Antwort-Caching**: Cacht Modellantworten, um Latenz und Kosten zu senken.
- **Guardrails und Inhaltsfilter**: Wendet Sicherheitsprüfungen oder Inhaltsfilter auf den Modellverkehr an.

## 5 Projekte

- [cheaper-inference/OmniRoute](../cheaper-inference-omniroute.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [diegosouzapw/OmniRoute](../diegosouzapw-omniroute.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [BerriAI/litellm](../berriai-litellm.md) · Aktivitäts-Score 5.0/5 (Sehr aktiv)
- [Alph4d0g/opencode-omniroute-auth](../alph4d0g-opencode-omniroute-auth.md) · Aktivitäts-Score 3.0/5 (Gepflegt)
- [Portkey-AI/gateway](../portkey-ai-gateway.md) · Aktivitäts-Score 2.9/5 (Gepflegt)
