Microsoft, yapay zeka çözümlerini yalnızca bulut ortamında değil, artık doğrudan cihaz üzerinde çalıştırılabilir hale getiren Microsoft Foundry Local çözümünü genel kullanıma (General Availability – GA) sundu.
Bu gelişme ile birlikte geliştiriciler, internet bağlantısına ihtiyaç duymadan, veri gizliliğini koruyarak ve ek maliyet oluşturmadan AI uygulamaları geliştirebiliyor.
Foundry Local Nedir?
Microsoft Foundry Local, yapay zeka modellerinin doğrudan kullanıcı cihazında (on-device) çalışmasını sağlayan, uçtan uca (end-to-end) bir local AI platformudur.
Temel özellikleri:
- Cloud bağımlılığı yok
- Offline çalışabilir
- Düşük latency (network yok)
- Token bazlı maliyet yok
- Uygulama içine gömülebilir (embedded AI)
Yani klasik “API çağır → response al” modeli yerine: Model direkt senin makinede çalışır.
Foundry Local mimarisi 3 ana bileşenden oluşur:
1. Foundry Local SDK
- Python, JavaScript, C#, Rust destekler
- Geliştiricinin kullandığı katmandır
2. Foundry Local Core
- Model lifecycle yönetimi:
- Download
- Load (RAM/GPU)
- Inference
- Unload
3. ONNX Runtime
- Modelin çalıştırıldığı inference engine
- Donanım hızlandırma sağlar (GPU / NPU / CPU fallback)
Önemli nokta: SDK aslında sadece “wrapper”dır — tüm iş Core + ONNX Runtime’da döner.
Desteklenen Platformlar
Foundry Local tamamen cross-platform çalışır:
- Windows (WinML entegrasyonu ile)
- macOS (Apple Silicon GPU / Metal)
- Linux (x64)
Windows tarafında ekstra avantaj:
WinML sayesinde driver uyumluluğu otomatik yönetilir
Kullanıcı driver kurmak zorunda kalmaz
Temel Özellikler (Capabilities)
Foundry Local’ı güçlü yapan özellikler:
Kurulum Gerektirmez
- Son kullanıcı için ekstra kurulum yok
- Uygulama ile birlikte gelir
Veri Güvenliği
- Veri cihaz dışına çıkmaz
- KVKK / regülasyon uyumlu kullanım senaryoları için ideal
Donanım Hızlandırma
- GPU → varsa kullanır
- NPU → varsa kullanır
- CPU → fallback
Offline Çalışma
- İnternet yok → problem yok
Streaming Response
- Token token cevap üretimi (real-time UX)
Resume Download
- Model indirirken kesilirse kaldığı yerden devam eder
Desteklenen Model Aileleri
Foundry Local Model Catalog üzerinden optimize edilmiş modeller:
- Qwen
- Mistral
- DeepSeek
- Whisper (speech-to-text)
- Phi (Microsoft)
- GPT OSS modelleri
Model seçimi donanıma göre otomatik optimize edilir.
Foundry Local Mimari Yapısı ve Çalışma Prensibi
Microsoft Foundry Local, klasik bulut tabanlı yapay zeka mimarisinden farklı olarak, tüm inference sürecini doğrudan istemci cihaz üzerinde gerçekleştiren katmanlı bir yapı sunar. Bu mimari; uygulama katmanı, Foundry Local Core ve altyapı bileşenlerinden oluşur.
Uygulama Katmanı (Application Layer)
Foundry Local, JavaScript, Python, C# ve Rust gibi farklı programlama dilleri ile geliştirilen uygulamalarla entegre çalışır. Geliştiriciler bu katmanda doğrudan SDK kullanarak Foundry Local Core ile iletişim kurabilir.
Alternatif olarak, OpenAI uyumlu bir REST API endpoint’i de opsiyonel olarak devreye alınabilir. Ancak varsayılan ve önerilen kullanım yöntemi, performans avantajı nedeniyle doğrudan kütüphane çağrıları (in-process execution) şeklindedir.
Foundry Local Core
Mimarinin merkezinde yer alan Foundry Local Core, tüm yapay zeka yaşam döngüsünü yöneten ana bileşendir. Tek bir native kütüphane (Windows için .dll, Linux için .so, macOS için .dylib) olarak çalışır.
Bu katman aşağıdaki işlemleri yönetir:
- Model indirme (download)
- Modelin belleğe yüklenmesi (load)
- Inference işlemlerinin yürütülmesi
- Modelin bellekten kaldırılması (unload)
Ayrıca, donanım bağımsızlığı sağlayarak GPU, NPU veya CPU kullanımını otomatik olarak yönetir. Bu sayede uygulama geliştiricinin donanım detaylarıyla ilgilenmesine gerek kalmaz.
ONNX Runtime Entegrasyonu
Foundry Local, inference işlemlerini gerçekleştirmek için ONNX Runtime kullanır. Bu bileşen, modelin çalıştırıldığı ana motordur.
ONNX Runtime sayesinde:
- GPU hızlandırma desteklenir
- NPU cihazları kullanılabilir
- CPU fallback mekanizması devreye girer
Bu yapı, farklı donanım konfigürasyonlarında optimum performans sağlar.
Foundry Catalog
Model yönetimi Foundry Catalog üzerinden gerçekleştirilir. İlk çalıştırma sırasında gerekli model, cihazın donanım özelliklerine göre otomatik olarak indirilir.
Sonraki çalıştırmalarda ise model, lokal cache üzerinden yüklenerek performans artırılır. Ayrıca model güncellemeleri de bu katalog üzerinden yönetilir.
WinML (Windows Machine Learning) Entegrasyonu
Windows işletim sistemlerinde Foundry Local, WinML ile entegre çalışır. Bu entegrasyon sayesinde:
- Donanıma uygun execution provider’lar otomatik olarak belirlenir
- Sürücü uyumluluğu işletim sistemi tarafından yönetilir
- Windows Update üzerinden performans iyileştirmeleri sağlanır
Bu yaklaşım, özellikle enterprise ortamlarda ek sürücü yönetimi ihtiyacını ortadan kaldırır.
Çalışma Akışı
Foundry Local’ın çalışma süreci aşağıdaki adımlardan oluşur:
- Uygulama başlatılır ve Foundry Local initialize edilir
- Model, Foundry Catalog üzerinden seçilir
- Model indirilir ve lokal ortama kaydedilir
- Model belleğe yüklenir
- ONNX Runtime üzerinden inference işlemi gerçekleştirilir
- Sonuç uygulamaya geri döndürülür
Ön Gereksinimler
Foundry Local SDK kurulumu öncesinde en sık karşılaşılan hatalardan biri Python’ın sistem tarafından tanınmamasıdır.
PowerShell üzerinde aşağıdaki hata alınabilir:
Python was not found; run without arguments to install from the Microsoft Store, or disable this shortcut from Settings > Apps > Advanced app settings > App execution aliases.
PATH Ayarı Nasıl Yapılır?
1. Ortam Değişkenleri Açılır
- System Properties > Environment Variables ekranı açılır
2. User Variables Altında Path Düzenlenir
“Path” değişkeni seçilerek Edit butonuna tıklanır.
3. Python Dizinleri Eklenir
Aşağıdaki dizinler PATH içerisine eklenmelidir:
- *C:\Users\win_admin\AppData\Local\Programs\Python\Python3xx*
- *C:\Users\win_admin\AppData\Local\Programs\Python\Python3xx\Scripts*
Not:
Buradaki Python3xx kısmı kurulu versiyona göre değişir (örneğin Python311, Python314 gibi)
Doğrulama
PATH güncellendikten sonra terminal yeniden açılır ve aşağıdaki komut çalıştırılır:
python –version
Eğer versiyon bilgisi dönüyorsa işlem başarılıdır.
Microsoft’un yayınladığı kurulum yöntemi, klasik bir uygulama kurulumu değildir. Bu yaklaşım, geliştiricilerin kendi uygulamalarına local AI yeteneklerini entegre etmesini sağlayan SDK (Software Development Kit) modeline dayanmaktadır.
Bu nedenle bu bölümde anlatılan kurulum:
- Bir arayüz (UI) kurmaz
- ChatGPT benzeri bir uygulama oluşturmaz
- Doğrudan terminalden kullanılabilir bir servis değildir
Bunun yerine, uygulama geliştirme sürecine entegre edilen bir runtime sağlar.
SDK Kurulumu
Foundry Local SDK, kullanılan programlama diline göre farklı şekillerde kurulabilir.
Python İle Kurulum
Windows ortamı için önerilen kurulum:
pip install foundry-local-sdk-winml
Diğer platformlar için:
pip install foundry-local-sdk
Bu kurulum ile birlikte:
- Foundry Local Core
- ONNX Runtime
- Model yönetim bileşenleri
otomatik olarak sisteme dahil edilir.
Kurulum sonrası doğruma için aşağıdaki python kodununu .py uzantılı keydedin ve çalıştırın.
from foundry_local_sdk import Configuration, FoundryLocalManager
# Initialize Foundry Local
config = Configuration(app_name="foundry_local_samples")
FoundryLocalManager.initialize(config)
manager = FoundryLocalManager.instance
# Download and load a model from the catalog
model = manager.catalog.get_model("qwen2.5-0.5b")
model.download()
model.load()
# Get a chat client
client = model.get_chat_client()
# Create and send message in OpenAI format
messages = [ {"role": "user", "content": "What is the golden ratio?"} ]
response = client.complete_chat(messages)
# Response in OpenAI format
print(f"Response: {response.choices[0].message.content}")
# Unload the model from memory
model.unload()
Foundry Local CLI Kurulumu
Bir önceki bölümde Foundry Local’ın SDK tabanlı kurulumu ele alınmış ve bu yaklaşımın daha çok geliştiricilere yönelik olduğu belirtilmiştir.
Bu bölümde ise Foundry Local’ın doğrudan kullanılabilen CLI (Command Line Interface) kurulumu incelenecektir.
CLI kurulumu sayesinde:
- Herhangi bir geliştirme yapmadan
- Ek bir uygulama yazmaya gerek kalmadan
- Doğrudan terminal üzerinden
Yapay zeka modelleri indirilebilir ve çalıştırılabilir.
Foundry Local CLI kurulumu, Windows ortamında winget (Windows Package Manager) kullanılarak gerçekleştirilmektedir.
Kurulumu başlatmak için aşağıdaki komut çalıştırılır:
winget install Microsoft.FoundryLocal
Foundry Local kurulumu tamamlandıktan sonra sistemde kullanılabilir modelleri görüntülemek için aşağıdaki komut kullanılır:
foundry model list
Foundry Local Modellerinin Kullanım Alanları
- Qwen Serisi (Genel Amaçlı / Chat / Tool Use)
- Metin üretimi
- Soru-cevap
- Chatbot uygulamaları
- Tool (araç) kullanımı
- Genel AI asistanı
- Versiyonlar: 0.5B, 1.5B, 7B, 14B
- Qwen Coder Serisi (Yazılım Geliştirme)
- Kod yazma
- Kod tamamlama
- Debug önerileri
- Script oluşturma
- API kullanım örnekleri üretme
- Phi Serisi (Microsoft – Hafif ve Optimize Modeller)
- Hızlı chat işlemleri
- Düşük kaynak tüketimi
- Genel amaçlı AI kullanımı
- Edge cihazlar için ideal
- Phi Reasoning Serisi (Akıl Yürütme Odaklı)
- Mantık yürütme
- Analitik problem çözme
- Karmaşık soru çözümü
- Karar destek sistemleri
- GPT OSS (Open Source Büyük Modeller)
- Gelişmiş metin üretimi
- Uzun içerik oluşturma
- Yüksek doğrulukta cevaplar
- Büyük ölçekli AI uygulamaları
- Mistral Serisi (Yüksek Performanslı Chat Modelleri)
- Chat ve içerik üretimi
- Yüksek kaliteli metin oluşturma
- Dengeli performans / hız
- Orta ve büyük ölçekli sistemler
- DeepSeek Serisi (Reasoning + Kod + Analiz)
- Gelişmiş analiz
- Kod üretimi
- Matematiksel işlemler
- Akıl yürütme ve problem çözme
- Whisper Serisi (Speech-to-Text)
- Ses → metin dönüşümü
- Konuşma transkripsiyonu
- Mikrofon verisi analizi
- Altyazı ve kayıt çözümleri
- Speech / Audio Modelleri (Genel)
- Ses işleme
- Konuşma tanıma
- Gerçek zamanlı transkripsiyon
- (Whisper bu kategoriye girer)
- Multi-Purpose Modeller (Chat + Tools + Kod)
- Çok yönlü kullanım
- Chat + tool entegrasyonu
- API çağrıları
- Otomasyon senaryoları
- Örnek: Qwen, Mistral bazı varyantlar
Model seçimi yapıldıktan sonra Foundry Local ile AI modelini çalıştırmak için aşağıdaki komut kullanılır:
foundry model run qwen2.5-0.5b
Foundry Local yalnızca CLI üzerinden değil, aynı zamanda model katalog arayüzü üzerinden de model keşfi yapmanıza olanak sağlar.
Microsoft Foundry Local, yapay zeka modellerini bulut bağımlılığı olmadan doğrudan cihaz üzerinde çalıştırmayı mümkün kılan modern ve güçlü bir çözümdür. Bu rehberde hem SDK tabanlı entegrasyon yaklaşımı hem de CLI ile doğrudan kullanım senaryosu detaylı şekilde ele alınmıştır.
Kurulum süreci incelendiğinde Foundry Local’ın iki farklı kullanım modeli sunduğu net şekilde görülmektedir:
- SDK yaklaşımı, geliştiricilerin kendi uygulamalarına AI yeteneklerini entegre etmesine olanak tanır
- CLI yaklaşımı ise herhangi bir geliştirme yapmadan hızlı bir şekilde model çalıştırmayı sağlar
Bu esneklik, Foundry Local’ı hem yazılım geliştiriciler hem de sistem mühendisleri için oldukça değerli bir araç haline getirmektedir.
Eline sağlık.