Eğitim Sektörü
AI Factory ile Kurumsal Yapay Zekanın Operasyonelleştirilmesi
+%40
GPU kaynak kullanımında verimlilik artışı
0
Dış bağımlı LLM lisans maliyeti
%100
Veri kurum içinde işlendi
Mevcut Zorluk
Büyük ölçekli üniversitelerde yapay zeka çalışmaları artmasına rağmen, bu çalışmalar kurumsal ölçekte sürdürülebilir bir etki yaratamıyordu.
- GPU kaynakları fakülteler arasında dağılmış, merkezi olarak yönetilemiyordu.
- Veri güvenliği gereksinimleri nedeniyle ticari yapay zeka servislerinin kullanımı sınırlıydı.
- Yüksek lisans maliyetleri, yapay zekanın yaygın kullanımını engelliyordu.
En kritik eksik ise şuydu: Yapay zeka projelerini kurum genelinde çalıştıracak ortak bir operasyonel model bulunmuyordu. Bu nedenle yapay zeka, potansiyel barındırmasına rağmen üretime geçemiyor, parçalı ve sınırlı kalıyordu.
Yaklaşımımız
Elsa, dağınık yapay zeka kapasitesini merkezi ve ölçeklenebilir bir yapıya dönüştürmek için bir AI Factory mimarisi kurdu.
- Tüm GPU kaynakları tek bir havuzda konsolide edilerek kurum genelinde paylaşılabilir hale getirildi.
- Açık kaynak LLM modelleri, tamamen kurum içinde ve kapalı bir mimaride konumlandırıldı.
- Akademik ve idari kullanıcıların teknik bariyer olmadan erişebileceği ortak bir AI katmanı oluşturuldu.
Bununla birlikte platform, yalnızca erişim değil aynı zamanda yönetim ve kontrol katmanı ile tasarlandı:
- Rol bazlı yetkilendirme ile farklı kullanıcı grupları için kontrollü erişim sağlandı.
- API key üzerinden token bazlı kullanım ölçümü ve limitlendirme mekanizmaları kuruldu.
- Kullanım verileri izlenebilir hale getirilerek kaynak planlama ve maliyet kontrolü mümkün kılındı.
- Hugging Face ekosistemi ile entegre çalışacak şekilde, açık kaynak LLM’lerin hızlı ve otomatik devreye alınabileceği bir yapı oluşturuldu.
Bu Yapı İle Ne Elde Edildi?
- Veri, model ve işlem süreçleri tek bir kontrol düzleminde yönetildi.
- Yapay zeka kullanımına standart, güvenli ve ölçülebilir bir model getirildi.
- Dağınık denemeler yerine, sürekli çalışan ve yönetilebilir bir üretim sistemi kuruldu.
- Sonuç olarak yapay zeka, bireysel kullanım senaryolarından çıkıp kurumun operasyonel bir parçası haline geldi.
Kontrol ve Şeffaflık: Token bazlı ölçümleme ve rol bazlı erişim ile yönetilebilir AI kullanımı.
Kurumsal Ölçek: Tüm akademik ve idari birimler için ortak AI erişim katmanı.
Sürdürülebilirlik: Yapay zeka, projelerden çıkıp sürekli değer üreten bir modele dönüştü.