Soru
Açık kaynaklı modeller (Llama 3, Mistral, Qwen) geliştikçe, şirketler verilerini dışarıya çıkarmadan kendi modellerini yerelde eğitmekte ve optimize etmektedir.
Açık Kaynak LLM'lerde Fine-Tuning: LoRA, QLoRA, DPO ve ORPO Stratejileri
2026 yılında kurumsal yapay zeka stratejilerinin merkezinde açık kaynak modelleri şirket içi verilerle özelleştirmek yer alıyor. Ancak tam parametre eğitimi (Full Fine-Tuning) devasa donanım maliyetleri getirmektedir.
Fine-Tuning Yöntemleri Arasındaki Temel Farklar:
- LoRA & QLoRA: Düşük dereceli uyarlama (Low-Rank Adaptation) ve 4-bit NormalFloat nicemleme (quantization) ile tek bir GPU'da 70B model eğitme imkanı.
- DPO (Direct Preference Optimization): Karmaşık RLHF (PPO) ödül modeline gerek kalmadan doğrudan insan tercihlerine göre modeli hizalama.
- ORPO (Odds Ratio Preference Optimization): SFT (Supervised Fine-Tuning) ve hizalamayı tek bir adımda birleştiren modern yaklaşım.
Hangi senaryoda hangi eğitim yaklaşımı seçilmelidir?
İbrahim Cingil
07.10.2026 15:18
0
2026 LLM İnce Ayar (Fine-Tuning) ve Tercih Optimizasyonu Karşılaştırması
| Yöntem | Donanım İhtiyacı | Eğitim Süresi | Kullanım Amacı |
|---|---|---|---|
| QLoRA (4-bit NF4) | 1x RTX 4090 / A100 (24GB) | Orta | Yeni stil, dil ve domain spesifik terminoloji öğretme. |
| DPO | 2x A100 / H100 (80GB) | Hızlı | SFT sonrası modelin istenmeyen cevaplarını filtreleme, insani ton kazandırma. |
| ORPO | 1x A100 (80GB) | Çok Hızlı | SFT ve Hizalamayı tek bir Loss fonksiyonunda birleştirerek eğitim maliyetini %50 düşürme. |
Unsloth ile 5 Kat Hızlı QLoRA Eğitimi
from unsloth import FastLanguageModel
import torch
max_seq_length = 4096
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "unsloth/Meta-Llama-3.1-8B-bnb-4bit",
max_seq_length = max_seq_length,
load_in_4bit = True,
)
model = FastLanguageModel.get_peft_model(
model,
r = 16,
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
lora_alpha = 16,
lora_dropout = 0,
bias = "none",
)Özgür Taşdelen
07.10.2026 18:02
0
Fine-tuning'e başlamadan önce kendinize şu soruyu sorun: "Bu bilgiyi RAG ile modele verebilir miyim?" Cevap evet ise eğitmeyin, RAG yapın. Fine-tuning modele yeni olgusal bilgi (fact) öğretmek için değil; üslup, çıktı formatı (katı JSON şeması) ve özel görev mantığını oturtmak için kullanılmalıdır.
şeref
08.10.2026 14:02
0
Müşteri hizmetleri konuşma geçmişimizle Llama 3 8B modelini QLoRA ve ardından DPO ile eğittik. GPT-4o'ya aylık binlerce dolar API ücreti ödemek yerine şirket içindeki tek bir sunucuda vLLM ile sıfır veri sızıntısıyla çalıştırıyoruz.
