Soru
Sora, Flux ve modern video/görsel üretim sistemlerinin kalbinde yer alan Diffusion Transformer (DiT) mimarisi U-Net omurgasının yerini almıştır.
Multimodal Yapay Zekada Difüzyon Transformatörleri (DiT) Mimarisi ve Video Üretimi Nasıl Çalışır?
İlk nesil görsel üretim modelleri (Stable Diffusion 1.5/SDXL) U-Net mimarisine dayanırken, 2024-2026 döneminde OpenAI Sora, Black Forest Labs Flux ve modern modeller Diffusion Transformer (DiT) mimarisine geçiş yaptı.
DiT Neden U-Net'ten Daha Üstündür?
- Patchification: Tıpkı ViT (Vision Transformer) gibi görsellerin ve videoların uzay-zaman (spatio-temporal) yamalarına ayrılması.
- Ölçeklenebilirlik (Scaling Laws): Transformatörlerin hesaplama gücü arttıkça daha tutarlı fizik simülasyonu ve hareket üretmesi.
- 3D VAE Latent Alanı: Video karelerinin sıkıştırılarak uzamsal ve zamansal boyutta tokenize edilmesi.
İbrahim Cingil
04.10.2026 12:56
0
Diffusion Transformer (DiT) Çalışma Prensibi
DiT mimarisi, standart difüzyon modellerinin gürültü giderme (denoising) adımlarını geleneksel evrişimli (convolutional) U-Net yerine saf Transformatör bloklarıyla gerçekleştirir.
1. Uzay-Zaman Yamaları (Spacetime Patches)
Bir video dizisi (Frame sayısı x Genişlik x Yükseklik x Kanal) önce bir 3D VAE ile gizil (latent) uzaya sıkıştırılır. Ardından her kare p x p boyutundaki yamalara (tokens) bölünür. Bu sayede model video piksellerini tıpkı bir metin dizisi gibi işleyebilir.
2. Akış Eşleştirme (Flow Matching) ve Denoising
Geleneksel difüzyondaki çok adımlı gürültü ekleme/çıkarma yerine doğrusal yörünge izleyen Flow Matching formülasyonu kullanılır. Bu sayede 4-8 adımda dahi fotogerçekçi, tutarlı fizik kanunlarına uyan sahneler oluşturulabilir.
Özgür Taşdelen
04.10.2026 16:32
0
Video üretiminde en büyük zorluk zamansal tutarlılıktır (temporal consistency). U-Net modellerinde karakterin yüzü veya elindeki nesne 2 saniye sonra değişiyordu. DiT mimarisi ise tüm kareleri küresel dikkat (global self-attention) mekanizmasıyla aynı anda gördüğü için nesne sürekliliğini ve kamera hareketini kusursuz koruyor.
Salih Ayışık
05.10.2026 06:32
0
Flux ve ComfyUI ile yerel ekran kartımda (RTX 4090) DiT tabanlı üretimler yapıyorum. Prompt takibi U-Net'e göre kıyaslanamayacak kadar üstün; ne yazdıysanız metindeki kelime sırasına kadar anlayıp uyguluyor.
