Prompt'u koddan çıkarın
Prompt'lar registry'de versiyonlanır, etiketle yayınlanır ve imzalı bundle olarak gateway'e dağıtılır. Uygulamanız prompt_id + variables gönderir; şablon gateway'de giydirilir.
- Immutable sürüm, taşınabilir etiket
- Canary ile aşamalı açılış
- Eval kapısından geçmeyen sürüm yayınlanamaz
< 30syayılım p99
Prompt bir yapılandırma, kod değil
4 KB'lık bir talimat metnini uygulama koduna gömdüğünüzde, onu değiştirme yetkisi olan tek kişi bir mühendis oluyor — ve her değişiklik bir release. Prompt owner'ın kendi başına sürüm çıkarabilmesi, cuma akşamı bozulan bir prompt'u geri almanın release pipeline'ını uyandırmadan mümkün olması gerekir. Registry bunu sağlar; imzalı dağıtım da güvenliği bozmadan.
Neler yapıyor
Sürüm ve etiket
Sürümler immutable, etiketler taşınabilir. Dev, Staging, Production etiketleri sürümler arasında hareket eder; geri alma tek çağrı.
Değişken sözleşmesi
Bilinmeyen değişken 400 döner, eksik zorunlu değişken 400 döner. Şablon ile çağıran arasındaki sözleşme sessizce bozulmaz.
Canary
Yeni sürümü trafiğin %10'una verin. Bucket deterministiktir ve conversationId ile sabitlenir; bir konuşmanın ortasında sürüm değişmez.
Eval kapısı
İmzasız eval raporu reddedilir. Gate'in istediği bir metrik raporda yoksa sonuç başarısız sayılır — eksik ölçüm başarı sayılmaz.
Prompt-farkında politika
input.prompt bloğu sayesinde politika "bu prompt düzenlemeye tabidir, yerel modele çivile" diyebilir. Prompt artık kararın görünmez parçası değil.
Prompt bazında maliyet
Karar izi prompt kimliğini ve sürümünü taşır; maliyet ve önbellek tasarrufu prompt bazında kırılabilir.
Bir isteğin gateway içinde geçirdiği 8 aşama
Sıralama keyfi değil. Örneğin prompt hydration politika değerlendirmesinden önce çalışır: PII değişkenlerin içinden gelir, şablonu sonradan giydirmek yanlış metni taramak olurdu.
Kimlik & kota
mk_live_… · X-Modelion-Organization- 01
Kimlik & kota
Sanal anahtar doğrulanır, organizasyon ve bölge bağlamı çözülür, rate limit uygulanır.
mk_live_… · X-Modelion-Organization - 02
Sinyal toplama (PIP)
Guardrail tarayıcıları, bütçe durumu ve sağlayıcı sağlığı politikanın göreceği girdiye yazılır.
signals.pii · signals.injection · runtime.health - 03
Prompt hydration
İstek
prompt_id+variablesile geldiyse şablon burada giydirilir — politikadan önce, çünkü PII değişkenlerin içindedir.prompts registry · imzalı bundle - 04
Politika kararı (PDP)
Platform tabanı, organizasyon yönetişimi ve özel kurallar tek havuzda değerlendirilir; kısıtlar kesişir, yükümlülükler birleşir.
Rego → WASM · p99 222µs - 05
Uygulama (PEP)
Karar burada eyleme dönüşür: reddet, prompt'u maskele, model havuzunu daralt, yükümlülükleri işaretle.
deny · redact · constrain - 06
Semantik önbellek
Politika izin verdiyse benzer bir prompt'un yanıtı okunur. PII tespit edildiyse önbellek yazımı kapatılır.
pgvector · org kapsamı · eşik 0.85 - 07
Yönlendirme & failover
Combo çözülür, aday zinciri sırayla denenir; ilk chunk'a kadar failover mümkündür. Circuit breaker sağlıksız rotayı devreden çıkarır.
combo/production-chat · 20 aday - 08
Bütçe, çalıştırma & telemetri
Harcama rezerve edilir, istek sağlayıcıya gider, karar izi ve kullanım kaydı yazılır.
ledger · decision_traces · Modelion-Decision
Nasıl çalışıyor
Yazımdan üretime dört adım — ve prompt sürümü değiştiğinde önbellek namespace'i de değişir.
- 1
Sürümü oluştur
Şablonu ve değişken şemasını yazın. Sürüm kaydedildikten sonra değişmez.
v1.5.0 · immutable - 2
Eval'den geçir
İmzalı eval raporu gate'in istediği metrikleri karşılamalı. Judge modeli aday modelle aynı olamaz.
signed eval report - 3
Etiketle yayınla
stagingetiketini taşıyın, sonraproduction. Production etiketi terfi kararı onayı olmadan verilemez.promotion.decision - 4
Canary ile aç
%10 trafikle başlayın. Canary sağlıksızsa politika kendini durdurur; açık sürüm pin'i canary'yi ezer.
%10 → %100
Teknik özet
- Çağrı yolları
/v1/prompts/{id}/completions·/v1/chat/completions+modelion_prompt- Hydration gecikmesi
- p99 ≤ 0.4 ms
- Sürüm
- Immutable · semver
- Etiketler
- Dev · Staging · Production (taşınabilir)
- Dağıtım
- İmzalı bundle, policy bundle'ıyla aynı yol · yayılım p99 < 30 s
- Canary
- Deterministik bucket,
conversationIdile sabitlenir - Geri alma
- Tek çağrı
- Önbellek etkisi
- Prompt sürümü değişince önbellek namespace'i değişir
Sıralamanın tek kritik kararı
Prompt hydration politika değerlendirmesinden ÖNCE, prompt rendering ise yönlendirmeden SONRA çalışır. Bunu tersine çevirmek önce doğruluğu, sonra gecikmeyi bozar: PII değişkenlerin içinden gelir, dolayısıyla substitution'dan önce tarayan her tasarım yanlış string'i tarar. Şablonu politikadan sonra giydirmek ise her istekte karar noktasını iki kez koşturmayı zorunlu kılar.
Kontrol düzleminin diğer parçaları
Bu yetenek tek başına da çalışır, ama değerinin çoğu diğerleriyle aynı karar sözleşmesini paylaşmasından geliyor.
Kendi trafiğinizde görün
30 dakikalık bir oturumda kendi kural setinizi shadow modda çalıştırıyoruz.