Uzmanlık
CUDA geliştiricisi — modelin GPU'da çalıştığı katman, 2024'ten beri
2024'ten beri eğitim ve inference iş yüklerini PyTorch, TensorFlow ve OpenAI Triton üzerinden CUDA ile GPU'da çalıştırıyorum; CUDA C++ ile kernel yazmıyorum.
- yıl
- 2
CUDA ekosisteminde ben
CUDA benim için bir uygulama alanı değil, modelin GPU’ya açıldığı platform katmanı. Eğitim ya da inference iş yükü bir framework’ün içinden yazılır; ama o iş yükünün GPU’da nasıl çalıştığı, sistemin ne kadar taşıyabileceğini belirler. Bu yüzden CUDA’yı yapay zekâ sistem mühendisliğinin altyapı ayağı olarak görüyorum.
CUDA’ya PyTorch ve TensorFlow üzerinden ulaşıyorum; yanında inference optimizasyonu için OpenAI Triton, modelleri sunmak için NVIDIA Dynamo-Triton ve ölçeklemek için Kubernetes var.
CUDA benim için işin altındaki platformun adı.
CUDA Geliştirici nedir?
CUDA, NVIDIA'nın hızlandırılmış hesaplama platformudur ve GPU hesaplamasının temelini oluşturur. CUDA geliştiricisi, GPU üzerinde çalışan kodu CUDA ile geliştiren kişidir. Ben CUDA'yı doğrudan CUDA C++ ile kernel yazarak değil, PyTorch, TensorFlow ve OpenAI Triton üzerinden kullanıyorum.
CUDA Geliştirici ne iş yapar?
Eğitim ve inference iş yüklerini PyTorch ve TensorFlow üzerinden CUDA ile GPU'da çalıştırıyorum. Inference optimizasyonunda özel GPU kernel'larını OpenAI Triton ile yazıyor, modelleri NVIDIA Dynamo-Triton ile sunuyor ve bu iş yüklerini Kubernetes'te container olarak ölçekliyorum.
Birlikte kullandığım teknolojiler
-
CUDA
Eğitim ve inference iş yüklerini GPU üzerinde çalıştırdığım NVIDIA platformu.
-
PyTorch
Model eğitimi, fine-tuning ve LoRA/PEFT ile uyarlama işlerinde kullandığım derin öğrenme framework'ü.
-
TensorFlow
Model eğitimi işlerimde kullandığım derin öğrenme framework'ü.
-
OpenAI Triton
Inference optimizasyonunda özel GPU kernel'ları yazmak için kullandığım dil ve derleyici.
-
NVIDIA Dynamo-Triton
Eğitilmiş modelleri bir API arkasında sunmak için kullandığım, eski adıyla NVIDIA Triton Inference Server olan model serving sunucusu.
-
Kubernetes
Model serving ve inference iş yüklerini container olarak dağıtıp ölçeklediğim orkestrasyon platformu.
Sık sorulanlar
6 soru
-
CUDA ile kaç yıldır çalışıyorsun?
2024'ten bu yana, 2 yıldır.
-
CUDA geliştirici ne iş yapar?
GPU üzerinde çalışan kodu CUDA ile geliştirir. Bende iş daha dar: eğitim ve inference iş yüklerini PyTorch, TensorFlow ve OpenAI Triton üzerinden CUDA ile GPU'da çalıştırıyorum.
-
CUDA ile PyTorch ve TensorFlow nasıl ilişkili?
PyTorch ve TensorFlow modeli tanımlayıp eğittiğim framework'ler; CUDA ise bu iş yüklerini NVIDIA GPU'larda çalıştıran platform. Framework tarafı için [PyTorch](/tr/uzmanlik/pytorch/) ve [TensorFlow](/tr/uzmanlik/tensorflow/) sayfalarına bakabilirsiniz.
-
CUDA C++ ile kernel yazıyor musun?
Hayır. CUDA'yı PyTorch ve TensorFlow üzerinden kullanıyorum; inference optimizasyonu için gereken özel GPU kernel'larını OpenAI Triton ile yazıyorum.
-
CUDA kimin platformu?
NVIDIA'nın kendi platformu. Kullandığım da bu; başka bir GPU platformu için iddiam yok.
-
GPU iş yüklerini nasıl ölçekliyorsun?
Model serving ve inference iş yüklerini container olarak dağıtıp Kubernetes ile ölçekliyorum.
Birlikte çalışalım
Bu ekosistemde bir işiniz varsa, ne yaptığınızı anlatın; nasıl kurulacağını konuşalım.