Vera Her İki Dünyanın En İyisini Sundu: En Yüksek İşlem Hacmi ve En Hızlı Ajanlar

AI ajanları yalnızca yanıt üretmekle kalmaz. Bilgi arar, veritabanlarına sorgu gönderir, kod yazar ve test eder ve eylem alır.

Bu adımların her biri bir CPU’ya dayanır; ajanlar bir görev boyunca GPU tabanlı muhakeme ile CPU tabanlı yürütme arasında hareket eder.

İşletmeler daha fazla ajanı işe aldıkça, AI fabrikaları bu adımları hızlıca yürütebilen ve aynı anda çok sayıda ajanı destekleyebilen CPU’lara ihtiyaç duyar; tüm bunlar mevcut güç sınırları içinde olmalıdır.

Bu ne anlama gelir: AI altyapı sağlayıcıları, her birinin işini tamamlaması için daha uzun süre beklemesini sağlamadan daha fazla ajanı desteklemelidir. Kritik olan ise AI fabrikalarının güç sınırlı olmasıdır. Bu da operatörlerin, her watt başına en fazla işi gerçekleştirecek altyapıyı seçmesini gerektirir.

Neden önemli: NVIDIA Vera, tek bir CPU içinde hem hızlı ajan performansını hem de watt başına yüksek kapasiteyi sunar. Bu da sağlayıcılara, hız ve kapasiteyi dengelemek için hızlı ve yoğun x86 parçalarını bir araya getirmek yerine, çeşitli ajan iş yükleri için tek bir CPU sağlar.

Bunu kanıtlayan veriler: 100 megawatt’lık bir veri merkezi karşılaştırmasında NVIDIA, tek bir Vera CPU’nun en hızlı x86 CPU’dan ve en verimli x86 CPU’dan daha iyi performans gösterdiğini buldu.

• Vera, sektörün lider ajan hızını sunar ve en hızlı x86 CPU’ya göre watt başına 1.6x daha fazla ajanı mümkün kılar.
• Vera, en verimli x86 CPU’ya kıyasla watt başına 2x daha hızlı ajan hızı sunar ve önde gelen enerji verimliliğine sahiptir.

Ortaklar zaten Vera’yı işe alıyor. Erken kullananlar, üretim tarzı testlerde aynı üstün performansı görüyor:

• Perplexity: Vera ile görevleri, geleneksel CPU’lara göre 1,5 kat daha hızlı tamamladı. Perplexity, Vera’yı yakında devreye alacağı bir üretim sisteminde kullanmayı planlıyor.
• DeepInfra: Üretim ajanı iş yükünde, en iyi x86 işlemcinin 2,2 katına varan hız sağlayarak dört mimariden en hızlısını başardı.
• ClickHouse: Hiçbir Vera’ya özgü ayar gerektiren standart ikili sürümü, 176 çekirdek boyunca neredeyse doğrusal ölçeklendi ve ClickBench donanım sıralamasında en üste çıktı.
• DuckLabs: Intel Xeon 6 temeline göre yaklaşık 1,5 kat ortalamaya yakın TPC-H SF1000 performansı elde etti.
• Daytona: 1.000 ajan kum kutusunu 10,8 saniyede ayağa kaldırdı ve 2.000 eşzamanlı kum kutusunda saniyede 12,7 tamamlanan işe ulaştı; x86 ile bu süre 88,4 saniye sürdü.
• Modal: Çekirdek başına kum kutusu verimliliğinde karşılaştırmalı x86 donanımına göre 2 katına kadar çıkış sağladı ve bu artış yoğun yük altında daha da büyüyor.