Fine-tuning

Fine-tuning İçin GPU İhtiyacı

Fine-tuning, hazır bir modeli belirli bir görev, kurum dili veya alan verisine uyarlama sürecidir. GPU ihtiyacı yalnızca model parametre sayısıyla belirlenmez; eğitim yöntemi, sequence length, batch boyutu, veri formatı, checkpoint politikası ve hedef süre aynı anda hesaba katılır. Bu yüzden “hangi GPU?” sorusundan önce nasıl bir uyarlama yapılacağını netleştirmek gerekir.

Tam eğitim ile adapter yaklaşımını ayırın

Tüm model ağırlıklarını güncelleyen tam fine-tuning, yüksek bellek ve uzun çalışma süresi ister. Optimizer durumları ve gradient'ler ağırlıkların üzerine ek yük getirir. LoRA veya QLoRA gibi adapter yöntemleri ise daha az parametreyi güncelleyerek bellek ihtiyacını düşürebilir. Bu yöntemler her hedefte aynı sonucu vermez; ancak birçok kurumun ilk denemeyi daha erişilebilir bir GPU ile yapmasına yardımcı olur.

Bir başka ayrım da modelin eğitim için mi, değerlendirme için mi çalıştırıldığıdır. Veri temizleme, tokenization ve validation adımları GPU dışında da zaman alabilir. Yalnızca eğitim adımına bakıp kapasite seçmek, toplam teslim süresini olduğundan kısa gösterebilir.

VRAM'i belirleyen başlıca değişkenler

• Model boyutu ve hassasiyet: Tam hassasiyet, düşük bitli veya 4-bit ağırlık seçenekleri farklı bellek kullanır.
• Sequence length: Uzun metinler aktivasyon ve attention maliyetini yükseltir.
• Batch ve gradient accumulation: Bir adımda işlenen örnek sayısı arttıkça bellek baskısı artar.
• Yöntem: Tam fine-tuning ile LoRA/QLoRA aynı kaynak profilini üretmez.
• Checkpoint ve veri: Disk, CPU RAM'i ve yazma hızı eğitim akışını etkiler.

GPU sınıfını nasıl konumlandırmalı?

RTX 4090, küçük model ve adapter tabanlı ilk denemelerde, özellikle sequence length ve batch kontrollü tutulduğunda işe yarayabilir. A100 80GB, daha geniş VRAM, daha büyük batch veya uzun süren kurumsal eğitim döngülerinde daha rahat bir çalışma alanı sağlar. H100, eğitim süresinin kritik olduğu veya model ölçeğinin hesaplama kapasitesini hızla tükettiği projelerde değerlendirilir.

Bu sınıflar bir garanti değildir. Hedef modelin gerçek eğitim kodu ve veri biçimiyle kısa bir deneme yapılmadan kesin süre veya kapasite sözü verilmemelidir. Aynı model, framework sürümü, sequence length ve optimizer ayarı değiştiğinde farklı sonuç verebilir.

Planlama ve kabul kriterleri

1. Hedef modeli, veri seti boyutunu ve örnek formatını yazılı hale getirin.
2. Full fine-tuning, LoRA veya QLoRA seçeneklerinden hangisinin deneneceğini belirleyin.
3. Sequence length, batch, accumulation ve checkpoint aralığını sabitleyin.
4. Bir saatlik pilotta bellek kullanımını, adım süresini ve hata oranını ölçün.
5. Checkpoint'lerin nerede tutulacağını ve eğitim bitince nasıl teslim edileceğini planlayın.

Veri hassas ise eğitim setinin sunucuya nasıl taşınacağı, erişim yetkileri ve işlem sonu silme prosedürü de GPU seçimi kadar önemlidir. OMAY, fine-tuning teklifini model, yöntem, kullanım süresi ve hazır yazılım ortamıyla birlikte ele alır.

Eğitim tamamlandığında yalnızca son checkpoint'i değil, kullanılan veri sürümünü, hyperparameter'ları, tokenizer'ı ve değerlendirme sonuçlarını da saklayın. Aynı ortamın tekrar kurulabilmesi, modelin neden iyileştiğini veya gerilediğini anlamayı sağlar. Bu kayıtlar sonraki GPU kararını da kolaylaştırır; hangi aşamada bellek, hangi aşamada disk veya CPU darboğazı yaşandığı görünür hale gelir.

Bu kayıtlar, ekip içinde sonucu paylaşmayı da kolaylaştırır. Başarılı bir deneme yalnızca bir model dosyası değil, tekrar edilebilir bir deney tarifidir.

Kısa cevap: Fine-tuning için GPU seçimi model boyutundan ibaret değildir. Yöntemi, sequence length'i, batch'i ve hedef süreyi ölçün; küçük adapter pilotlarında RTX 4090, geniş bellekli veya zaman kritik işlerde A100/H100 daha uygun olabilir.