NVIDIA Dynamo Tarifleri Kore’in Önde Gelen Açık Kaynak Modellerini Üretime Taşıyor
NVIDIA, Kore’nin önde gelen açık modelleri için Dynamo-optimize edilmiş dağıtım tarifleri yayımlıyor: SK Telecom’den A.X K2, LG AI Research’den K-EXAONE 2.0, Upstage’den Solar Open 2 ve Motif Technologies’den Motif-3.
Modeller tek bir GPU’nun kapasitesini aştıkça, birden fazla GPU’ya bölünmeleri gerekir ve bu da performansın korunması için istek yönlendirmesi ile iletişimin özenli biçimde koordine edilmesini zorunlu kılar.
NVIDIA Dynamo, modellerin veri merkezi ölçeğinde çok düğümlü ortamlarda dağıtılması için inşa edilmiş, açık kaynaklı, dağıtık çıkarım hizmeti çerçevesidir. Çarışım performansını en üst düzeye çıkarmak için bu yönlendirme ve iletişimi yönetir.
NVIDIA B200 GPU’ları için optimize edilen bu tarifler, dağıtım sürecindeki belirsizliği ortadan kaldırarak kutudan çıkar çıkmaz 2’ye kadar performans sunar. Geliştiricilerin Kore’nin açık modellerini üretime daha hızlı taşımasına ve bunları herkesin erişebileceği geniş kapsamlı “AI for All” hizmetlerine dönüştürmesine yardımcı olur.
