Verisini dışarı vermek istemeyen kurumlar
Sözleşme, fiyat ve teknik bilgi hassasiyeti yüksek şirketler. Bu kurumlarda karar çoğu zaman teknik değil ticari ve hukukidir; mimari bu karara göre kurulur.
ÖZEL YAZILIM · KURUM İÇİ YAPAY ZEKÂ
Kurum İçi Yapay Zekâ Kurulumu ve Model Yönlendirme
Verisinin dışarı çıkmasını istemeyen kurumlar için kendi sunucusunda ya da kendi bulut kiracısında çalışan model altyapısı kurarız: donanım planlaması, model seçimi, iç doküman arama, hangi işin hangi modele gideceğini belirleyen yönlendirme ve maliyet ölçümü.
Yapay zekâ kullanmak isteyen kurumların önündeki ilk soru teknik değil, veriyle ilgilidir. Sözleşmeler, fiyat listeleri, müşteri yazışmaları, teknik çizimler ve üretim reçeteleri bir dış servise gönderilecek mi. Bazı kurumlarda bu bir tercih, bazılarında müşteri sözleşmesinden ya da sektörel bir hassasiyetten doğan bir zorunluluk. Sorunun cevabı hangisi olursa olsun, karar mimariyi baştan belirler ve sonradan değiştirmek pahalıdır.
Kurum içinde çalışan açık kaynak modeller bu soruya bir cevap sunuyor. Veri sunucudan çıkmıyor, kullanım başına ücret yok, model sürümü sizin kontrolünüzde kalıyor. Ancak dürüst olmak gerekirse bedeli var: donanım yatırımı gerekir, kurum içinde çalıştırılabilen modeller en yetenekli kapalı modellerin gerisindedir ve altyapının bakımı sizin sorumluluğunuza geçer. Bu üçünü söylemeden yapılan bir kurum içi kurulum önerisi eksiktir.
Pratikte en dengeli sonuç genellikle ikisinin arasında bir yerde çıkıyor. İşlerin çoğu, kurum içinde çalışan bir modelle yeterince iyi yapılabiliyor: iç doküman arama, özetleme, sınıflandırma, taslak üretme. Buna karşılık az sayıda karmaşık iş, daha güçlü bir modele ihtiyaç duyuyor ve o işlerde hassas veri genellikle bulunmuyor. Kurduğumuz yönlendirme katmanı bu ayrımı yapar: hangi işin hangi modele gideceği kurala bağlanır, hassas veri içeren istekler kurum dışına hiç çıkmaz.
Bu altyapının ikinci parçası ölçümdür. Hangi birimin ne kadar kullandığı, hangi işin ne kadara mal olduğu ve kalitenin zaman içinde nasıl değiştiği ölçülmediğinde, yapay zekâ harcaması kimsenin sahiplenmediği bir kaleme dönüşür. Ölçüm kurulduğunda ise tersi olur: hangi kullanım gerçekten değer üretiyor, hangisi denendi ve bırakıldı görünür hale gelir. Kurulumu bu ölçümle birlikte teslim ederiz.
Kimler için?
Kurum İçi Yapay Zekâ Kurulumu ve Model Yönlendirme kimler için uygun?
Müşteri sözleşmesiyle sınırlanmış tedarikçiler
Alıcısıyla yaptığı sözleşmede verinin işlenme yeri konusunda taahhüt bulunan işletmeler. Bu taahhüdün yazılım tarafında karşılığının kurulması gerekir; niyet beyanı yeterli olmaz.
Yaygın kullanım hedefleyen şirketler
Yapay zekâyı birkaç kişinin denemesi olmaktan çıkarıp kuruma yaymak isteyen yapılar. Bu ölçekte maliyet ve yönetişim, model kalitesi kadar belirleyici hale gelir.
İç dokümantasyonu ağır olan kurumlar
Teknik doküman, prosedür ve geçmiş yazışma arşivi büyük olan işletmeler. Bu arşivin aranabilir hale gelmesi, çoğu kurumda ilk ve en somut kazançtır.
Ne geliştiriyoruz?
Kurum İçi Yapay Zekâ Kurulumu ve Model Yönlendirme kapsamında neler yapıyoruz
| Yetenek | Ne sağlar |
|---|---|
| Donanım ve maliyet planlaması | Hedeflenen kullanım hacmine göre gereken donanım ve toplam sahip olma maliyeti çıkarılır; dış servis kullanımıyla karşılaştırılır. Karşılaştırma tarafsız yapılır, çünkü her kurumda kurum içi kurulumun ekonomik olduğu bir eşik vardır ve bazı kurumlar bu eşiğin altındadır. |
| Model seçimi ve karşılaştırma | Sizin gerçek işlerinizden oluşan bir test seti hazırlanır ve aday modeller bu set üzerinde karşılaştırılır. Genel kıyaslama tablolarına değil, sizin işinizdeki sonuca bakılır. Türkçe performansı ayrıca değerlendirilir. |
| İç doküman arama kurulumu | Kurum dokümanları, prosedürler ve arşiv aranabilir hale getirilir; cevaplar kaynak belgeye referansla verilir. Kaynak göstermeyen bir kurgu güven kazanmaz; kullanıcının cevabı doğrulayabilmesi gerekir. Yetkiler korunur: kullanıcı, erişim hakkı olmayan bir belgenin içeriğini dolaylı olarak da göremez. |
| Model yönlendirme katmanı | Hangi işin hangi modele gideceği kurala bağlanır: hassas veri içerenler kurum içinde kalır, gerektiğinde daha güçlü modele çıkılır. Uygulamalar tek bir arayüzle konuşur; model değiştiğinde uygulamalar değişmez. |
| Sızma önleyici kontroller | Giden isteklerde hassas alanların tespiti ve maskelenmesi, yasaklı içerik kuralları ve kayıt tutma kurulur. Kimin ne sorduğu ve hangi belgeye eriştiği izlenebilir; bu hem güvenlik hem denetim gereğidir. |
| Kullanım ve maliyet ölçümü | Birim, kullanıcı ve uygulama bazında kullanım ve maliyet ölçülür. Hangi kullanımın gerçekten iş ürettiği görünür hale gelir. Ölçüm olmadan yapay zekâ bütçesi, kimsenin savunamadığı bir kaleme dönüşür. |
Teknolojiler
Kullandığımız teknolojiler
- Açık kaynak dil modelleri
- GPU sunucu ve kaynak planlaması
- Model sunum katmanı
- Vektör arama ve doküman indeksleme
- Yetki korumalı arama
- Yönlendirme ve tek arayüz katmanı
- Maskeleme ve içerik kuralları
- Kullanım ve maliyet ölçümü
- Değerlendirme test setleri
Süreç
Keşiften canlıya nasıl ilerliyoruz
- 01
1. Kullanım senaryolarının ve kısıtların belirlenmesi
Hangi işlerin yapay zekâya verileceği ve hangi verinin kurum dışına çıkamayacağı netleştirilir. Bu iki liste, mimarinin tamamını belirler. Kısıtlar hukuk ve ticaret tarafından gelir; biz onları teknik karara çeviririz.
- 02
2. Test setinin hazırlanması
Sizin gerçek işlerinizden bir değerlendirme seti oluşturulur. Aday modeller bu set üzerinde denenir ve sonuçlar karşılaştırılır. Bu set daha sonra da kullanılır; model güncellendiğinde kalitenin düşmediği aynı setle kontrol edilir.
- 03
3. Altyapı kurulumu
Donanım veya bulut kiracısı hazırlanır, model sunum katmanı kurulur, erişim ve yetkiler tanımlanır. Kurulum, tek bir modele bağlanmayacak biçimde yapılır; model değişimi sonradan bir yapılandırma işi olmalıdır.
- 04
4. Doküman arama ve yönlendirmenin devreye alınması
İç doküman indeksi kurulur, yetki kontrolleri test edilir, yönlendirme kuralları tanımlanır. Yetki testi ihmal edilmemesi gereken bir adımdır; arama katmanları, dikkat edilmediğinde yetkisiz içeriği özet yoluyla sızdırabilir.
- 05
5. Ölçüm, yaygınlaştırma ve devir
Kullanım ve maliyet ölçümü açılır, kullanıcı grupları kademeli olarak eklenir. Bakım sorumlulukları, model güncelleme yöntemi ve test setinin nasıl çalıştırılacağı yazılı olarak devredilir.
Sıkça sorulan sorular
Kurum İçi Yapay Zekâ Kurulumu ve Model Yönlendirme hakkında merak edilenler
Kurum içi model, dışarıdaki modeller kadar iyi mi?
Genel olarak hayır ve bunu açıkça söylüyoruz. Kurum içinde çalıştırılabilen modeller, en güçlü kapalı modellerin gerisindedir. Ancak kurumsal işlerin önemli bir kısmında, örneğin doküman arama, özetleme, sınıflandırma ve taslak üretmede yeterli sonuç verirler. Doğru soru hangisinin daha güçlü olduğu değil, sizin işinizde yeterli olup olmadığıdır; bunu test setiyle ölçeriz.
Ne kadar donanım gerekir?
Hedeflenen model boyutuna ve eş zamanlı kullanıcı sayısına bağlıdır. Planlamayı gerçek kullanım tahminiyle yaparız ve dış servis maliyetiyle karşılaştırırız. Bazı kurumlarda sonuç şudur: kullanım hacmi kurum içi kurulumu ekonomik kılacak düzeyde değildir. Böyle bir sonuç çıkarsa bunu söyleriz; sizi kurmaya ikna etmeye çalışmayız.
Verimiz gerçekten hiç dışarı çıkmayacak mı?
Tamamen kurum içi kurulumda çıkmaz; altyapı sizin sunucunuzda veya kendi bulut kiracınızda çalışır. Karma mimaride ise hangi isteğin dışarı çıkabileceği kurala bağlanır ve hassas alanlar maskelenir. Hangi modelin seçildiği kadar, kuralların doğru yazılması ve kayıt tutulması da önemlidir; bunu denetlenebilir biçimde kurarız.
Modeli kendi verimizle eğitecek misiniz?
Çoğu durumda gerekmez ve önermeyiz. Kurumsal ihtiyaçların büyük kısmı, doğru kurulmuş bir doküman arama katmanıyla karşılanır; bu hem daha ucuz hem daha güncellenebilirdir. İnce ayar, ancak arama yaklaşımının yetmediği ve tekrar eden özel bir görev tanımı olduğunda gündeme gelir. O noktada da maliyetini ve bakım yükünü açıkça koyarız.
Sonradan model değiştirebilir miyiz?
Evet, mimariyi bunu mümkün kılacak şekilde kurarız. Uygulamalar tek bir arayüzle konuşur; hangi modelin arkada çalıştığı bir yapılandırma meselesidir. Bu alan hızlı değiştiği için tek bir modele kilitlenmemek, kurulumun en önemli tasarım kararıdır.
Sonunda elimize ne geçer?
Kendi ortamınızda çalışan bir model altyapısı; sizin işlerinizle hazırlanmış bir değerlendirme test seti ve model karşılaştırma raporu; yetki korumalı iç doküman arama; model yönlendirme katmanı ve içerik kuralları; kullanım ile maliyet ölçümü ve bakım dokümantasyonu. Kaynak kod ve kurulum yapılandırması dahil her şey sizindir; modeller kendi ortamınızda çalışır.
İletişim
Kurum İçi Yapay Zekâ Kurulumu ve Model Yönlendirme projenizi konuşalım
30 dakikalık keşif görüşmesinde ihtiyacınızı dinler, özele mi yoksa hazır çözüme mi ihtiyacınız olduğunu dürüstçe söyleriz.
İlgili
İlgili sayfalar ve rehberler
Yapay Zekâ ve LLM Çözümleri Yapay Zekâ Ajanları DevOps ve Bulut KVKK Uyum ve Veri Yönetişimi Kısıtlarınızı Konuşalım Teslim sonrası: bakım, destek ve kapasite aboneliği
Düşük Kodlu Otomasyon Platformu Kurulumu
Kendi sunucunuzda çalışan iş akışı motorlarını ve iç araç oluşturucuları kurar, sistemlerinize bağlar ve en önemlisi yönetişimini kurarız: kim akış kurabilir, sırlar nerede durur, akışın sahibi kim ve bozulduğunda kim bakar.
Detay →İSG Uyum ve Belge Yönetimi
Risk değerlendirmesinden periyodik ekipman kontrolüne, çalışan bazında eğitim ve sağlık muayenesi geçerliliğinden ramak kala kayıtlarına kadar iş sağlığı ve güvenliği verisini tek yerde toplayan bir sistem kurarız. Denetim geldiğinde aranan dosya toplanmaz, hazır durur.
Detay →KVKK Uyum ve Veri Yönetişimi
Kişisel veri envanterini, saklama ve imha takvimini, ilgili kişi başvurularını ve ihlal müdahale kayıtlarını yürüten bir sistem kurarız. Yazılım süreci ve kanıtı yönetir; hukuki yorum ve metinlerin içeriği avukatınıza aittir.
Detay →Çevre ve Atık Uyum Yönetimi
Atığın oluştuğu andan tesisten çıktığı ana kadar izini tutan, beyanları besleyen, izin ve lisans sürelerini takip eden bir sistem kurarız. Rakamlar beyan zamanında derlenmez; kaydedildiği anda yerine oturur.
Detay →Tedarikçi Uygunluk ve Denetime Hazırlık
Alıcınızın sosyal uygunluk denetiminde isteyeceği kanıtları denetim yaklaşınca toplamak yerine sürekli toplu tutan bir sistem kurarız. Bulgular, düzeltici faaliyetler ve kapanış kanıtları aynı yerde yürür; denetim gününe eksiği bilerek girersiniz.
Detay →Menşe Kural Motoru ve GTİP Sınıflandırma
İhraç ettiğiniz ürünün tercihli menşei kural bazında hesaplayan, tedarikçi menşe beyanlarını ürün ve geçerlilik düzeyinde takip eden ve GTİP kararlarını gerekçesiyle kayıt altına alan bir sistem kurarız. Amaç, menşe iddiasının arkasındaki hesabı istendiği anda gösterebilmektir.
Detay →