Soru
Microsoft Phi-3/4, Google Gemma 2 ve Llama 3 3B gibi Küçük Dil Modelleri, doğrudan akıllı telefon ve dizüstü bilgisayarların NPU çiplerinde internetsiz çalışabilmektedir.
Mobil ve Uç Cihazlarda (Edge AI) NPU Destekli Küçük Dil Modelleri (SLM) Nasıl Çalıştırılır?
Bulut tabanlı API'ler gecikme (latency), gizlilik ve maliyet sorunları yaratabilmektedir. 2026 yılında Apple M-serisi çipler, Intel Core Ultra ve Snapdragon X Elite işlemcilerdeki NPU (Neural Processing Unit) donanımları sayesinde 1B - 8B arası modeller yerelde saniyede 40+ token hızında çalışmaktadır.
Yerel Model Çalıştırma Yöntemleri:
- ONNX Runtime & WebGPU entegrasyonu.
- GGUF formatı ve llama.cpp / Ollama altyapısı.
- Quantization (AWQ, EXL2, GGUF Q4_K_M).
İbrahim Cingil
07.10.2026 03:19
0
Uç Cihazlarda (Edge AI) Model Dağıtım Rehberi
1. Doğru Model ve Nicemleme (Quantization) Seçimi
Mobil ve uç cihazlarda RAM kısıtı en büyük darboğazdır. Q4_K_M (4-bit) nicemleme doğruluktan neredeyse ödün vermeden model boyutunu 4 kat küçültür:
- Phi-3.5-mini (3.8B): ~2.3 GB RAM gereksinimi (Mobil için ideal).
- Gemma-2-2B: ~1.6 GB RAM gereksinimi (Giyilebilir ve IoT cihazlar).
- Llama-3.2-3B: Çok dilli yerel görevler ve hızlı özetleme.
2. Ollama & WebLLM ile Tarayıcıda Çalıştırma
WebGPU teknolojisi sayesinde artık kullanıcı cihazına hiçbir program kurmadan doğrudan tarayıcı belleğinde WebLLM ile model koşturmak mümkündür:
import * as webllm from "@mlc-ai/web-llm";
const engine = await webllm.CreateMLCEngine("Llama-3.2-3B-Instruct-q4f32_1-MLC");
const reply = await engine.chat.completions.create({
messages: [{ role: "user", content: "Bu metni Türkçe özetle: ..." }]
});Henaz Henaz
07.10.2026 06:02
0
Uç yapay zekanın (Edge AI) en büyük avantajı KV Cache optimizasyonudur. Apple Neural Engine (ANE) veya Qualcomm NPU üzerinde FP16 yerine INT4 hesaplama yapıldığında cihazın pili ısınmadan gün boyu arka planda kişisel asistan çalışabiliyor. Gizlilik gerektiren sağlık ve finans uygulamalarında geleceğin tek yolu yerel modellerdir.
partnerstone
07.10.2026 21:02
0
Dizüstü bilgisayarımda Ollama ile Llama 3.2 3B modelini kurdum. Uçakta internetim yokken bile tüm teknik dokümanlarımı yerelde özetletip kodlarımdaki hataları buldurabiliyorum. İnanılmaz bir bağımsızlık sağlıyor.
