Trafiği modele değil, karara bağlayın
Bir combo, sıralı adaylardan ve adım koşullarından oluşur. Uygulamanız combo/production-chat der; hangi modelin çalıştığına, hangi sırayla denendiğine ve düşen sağlayıcının ne zaman devreden çıktığına gateway karar verir.
- Failover zincirleri ve ağırlıklı dağıtım
- 20 düğüme kadar karar grafiği
- İlk chunk'a kadar failover
20aday · zincir başına 10 öğe
Model adı bir uygulama detayı olmasın
Kodunuza gpt-4o yazdığınız anda o modeli değiştirmek bir dağıtım işi olur. Combo, aradaki dolaylılığı sağlar: uygulamanız kararlı bir isim kullanır, arkasındaki aday listesini ve koşulları siz konsoldan değiştirirsiniz. Politika bu listeyi daha da daraltabilir — combo neyin mümkün olduğunu, politika neyin izinli olduğunu söyler.
Neler yapıyor
Failover zinciri
Adaylar sırayla denenir. Streaming isteklerde ilk chunk gelene kadar failover mümkündür; sonrasında akış kesilmez.
Ağırlıklı dağıtım
Trafiği %80/%20 bölerek iki modeli aynı üretim yükü altında karşılaştırın. Round-robin ve ağırlıklı rastgele desteklenir.
Karar grafiği
Lineer zincir yetmediğinde koşullu dallanma: 20 düğüme kadar graf, adım başına koşullarla.
Adım koşulları
Token aralığı, rota etiketi, akış modu ve içerik anahtar kelimeleri. "Fatura" geçen istekler finans modeline, kısa istekler ucuz modele.
Circuit breaker
Ardışık hata eşiği aşılan rota bir süre devreden çıkar. Sağlık durumu politikaya input.runtime üzerinden görünür kılınır.
Politika ile kesişim
Politikanın allowedModels kısıtı combo'nun aday listesiyle kesişir. Combo'da olan ama politikanın izin vermediği bir model çalışmaz.
Sağlayıcı düşer, istek düşmez
Bir combo, sıralı adaylardan oluşur. Aşağıdaki sağlayıcılardan birini devre dışı bırakın ve isteğin zinciri nasıl indiğini izleyin.
combo/production-chatSağlayıcıyı devre dışı bırakmak için tıklayın
Sonuç
İstek gönder →
Adım koşulları
- Token aralığı — kısa istekler ucuz modele iner
- Rota etiketi —
Modelion-Route-Tagbaşlığı - Streaming — akış modu ayrı dallanabilir
- İçerik anahtar kelimesi — "fatura" → finans modeli
Circuit breaker
Ardışık hata eşiği aşıldığında rota bir süre devreden çıkar. Sağlık bilgisi politikaya input.runtime üzerinden verilir — ama hepsi bozuksa baypas yapılmaz, fail-open uyumluluk sınırını genişletmez.
Bu sayfadaki demo tarayıcınızda çalışır; gerçek bir gateway çağrısı yapılmaz.
Nasıl çalışıyor
Combo'yu bir kez tanımlayın, uygulamada adını kullanın. Değişiklikler kod dağıtmadan yayılır.
- 1
Combo'yu tanımla
Adayları sırala, adım koşullarını gir, mod olarak lineer zincir ya da karar grafiği seç.
combo/<key> - 2
Uygulamada adını kullan
İstek gövdesinde model olarak
combo/production-chatgönderin. Somut model adı artık uygulama detayı değil.model: combo/production-chat - 3
Sağlığı izle
Breaker durumu, aday bazında hata oranı ve failover sıklığı gözlemlenebilirlik panosunda.
runtime.health - 4
Kaydırarak değiştir
Yeni modeli %10 ağırlıkla ekleyin, metrikleri karşılaştırın, ağırlığı kademeli artırın.
ağırlıklı rastgele
Teknik özet
- Tel formatı
combo/<key>— istek gövdesindeki model alanında- Modlar
- Lineer zincir · karar grafiği
- Dağıtım
- Failover · round-robin · ağırlıklı rastgele
- Zincir başına öğe
- En fazla 10
- Aday üst sınırı
- 20 (yedekleme derinliği)
- Graf düğümü
- En fazla 20
- Adım koşulları
- Token aralığı · rota etiketi · akış modu · içerik anahtar kelimesi
- Failover penceresi
- Streaming'de ilk chunk'a kadar
Hepsi bozuksa baypas yok
Circuit breaker sağlıksız rotayı devreden çıkarır ve politika "bu sağlayıcı bozuk, isteği başka yere al" diyebilir. Ama tüm adaylar sağlıksızsa baypas yapılmaz: gateway 503 döner. Fail-open davranışı uyumluluk sınırını hiçbir koşulda genişletmez — trafiği akıtmak için veri yerleşimi kuralını esnetmek, kesinti yaşamaktan daha pahalıdır.
Kontrol düzleminin diğer parçaları
Bu yetenek tek başına da çalışır, ama değerinin çoğu diğerleriyle aynı karar sözleşmesini paylaşmasından geliyor.
Kendi trafiğinizde görün
30 dakikalık bir oturumda kendi kural setinizi shadow modda çalıştırıyoruz.