Telset.id – Nvidia untuk pertama kalinya membuka pintu Engineering SuperLab-nya kepada media, memperlihatkan rak server Vera Rubin NVL72 yang sedang menjalankan beban kerja kecerdasan buatan (AI) secara nyata. Lab rahasia yang dibangun dalam dua tahun terakhir ini menjadi saksi pengujian infrastruktur AI generasi terbaru Nvidia, termasuk sistem 800VDC dan sistem pendingin cair penuh.
Dalam kunjungan eksklusif yang dilaporkan oleh Tom’s Hardware, Nvidia mengundang sekitar selusin jurnalis ke kantor pusatnya untuk melihat langsung prosesor Vera CPU dan bagaimana ia terintegrasi dalam desain rak Vera Rubin NVL72. Yang menarik, rak-rak tersebut tidak hanya dipajang, tetapi benar-benar berjalan dengan beban kerja nyata.
Engineering SuperLab Nvidia bukanlah pusat data konvensional. Nvidia secara terbuka mengakui bahwa fasilitas ini dibangun khusus untuk para insinyur, memungkinkan mereka dengan cepat memasang dan menukar rak untuk menguji perangkat keras terbaru. “Jika Nvidia membangun pusat data yang layak, tidak akan terlihat seperti ini,” demikian pengakuan dari pihak perusahaan, menunjukkan bahwa lab ini adalah tempat para insinyur bekerja dengan segala peralatan mereka.
Lab ini merupakan salah satu dari empat lokasi tak dikenal di dekat kantor pusat Nvidia yang belum pernah diungkap sebelumnya. Masing-masing lokasi muncul dalam dua tahun terakhir, memberikan ruang bagi Nvidia untuk bereksperimen dengan perangkat keras barunya.
Vera Rubin NVL72 dan OpenAI
Vera Rubin sudah dalam produksi penuh, namun inilah pertama kalinya sebuah rak terlihat menjalankan beban kerja nyata. Nvidia mengungkapkan bahwa rak-rak di lab ini menjalankan beberapa beban kerja untuk OpenAI. Dari gambar yang diperlihatkan, terlihat beberapa tray menjalankan model GPT-Rosalind milik OpenAI.
Setiap rak Vera Rubin NVL72 menampung 18 tray komputasi dan 9 tray switch NVLink. Tray switch ini bertugas mengorkestrasi komunikasi antara berbagai tray agar berfungsi sebagai satu sistem besar yang terpadu. Nvidia mendemonstrasikan desain MGX NVL, sebuah rak referensi tunggal dengan 72 GPU Rubin dan 36 CPU Vera.
Di bagian belakang rak, terdapat tulang punggung NVLink yang terlihat seperti perangkat abad pertengahan dengan pin tajam yang menghubungkan berbagai tray. Tulang punggung ini menampung 5.000 kabel tembaga dengan panjang lebih dari dua mil, memberikan bandwidth hingga 3,6 TB/s per GPU dan 260 TB/s bandwidth scale-up per rak pada NVLink generasi keenam.
Pendingin Cair Penuh dan Daya 800VDC
Salah satu perubahan paling signifikan pada Vera Rubin adalah sistem pendinginnya. Berbeda dengan rak GB200 dan GB300 NVL72 generasi sebelumnya yang menggunakan hybrid cooling, tray Vera Rubin sepenuhnya didinginkan oleh cairan. Tidak ada kipas sama sekali, yang menurut Nvidia pada akhirnya dapat membuat pusat data menjadi jauh lebih senyap.
Proses yang digunakan disebut “dry cooling.” Nvidia mengklaim bahwa jika suhu inlet cairan pendingin 45 derajat Celcius atau kurang, seluruh sistem dapat didinginkan hanya dengan heat exchanger. Jika terbukti benar, ini akan menghilangkan kebutuhan akan chiller yang mahal dalam hal daya, ruang, kebisingan, konsumsi air, dan biaya.
Pipa-pipa besar membawa cairan pendingin masuk di bagian atas rak, sementara outlet di bagian bawah mengalirkan cairan yang sudah hangat keluar. Nvidia telah menstandarisasi semuanya pada rak Vera Rubin NVL72 dengan Open Compute Project (OCP), bahkan hingga spesifikasi pengiriman. Perusahaan mengklaim hanya butuh 47 menit dari truk tiba hingga rak dinyalakan.
Nvidia juga mendemonstrasikan “sidecar” 800VDC. Rak Vera Rubin NVL72 tunggal dapat mengonsumsi lebih dari 200 kW, yang merupakan tantangan besar bagi infrastruktur daya tradisional. Sidecar ini mengubah daya AC 415V/480V menjadi 800VDC dan memberi daya pada rak-rak di sekitarnya.
Komponen Infrastruktur AI Generasi Berikutnya
Di bagian depan fasilitas, Nvidia memajang semua komponen infrastruktur AI generasi terbarunya. Tray Vera Rubin NVL72 hanya memiliki dua kabel, tanpa selang, dan tanpa kipas. Perbedaan mencolok terlihat jika dibandingkan dengan tray GB300 yang masih menggunakan kipas di bagian tengah.
Nvidia juga menunjukkan tray khusus CPU dengan delapan chip Vera, yang menawarkan hingga 256 chip dalam satu rak. Ini memberikan gambaran lebih dekat tidak hanya pada chip itu sendiri, tetapi juga sistem memori SOCAMM2 LPDDR5X. Modul memori 128GB SOCAMM2 dari Micron berjalan pada 6400 MT/s, menawarkan modularitas untuk standar memori yang biasanya disolder.
Komunikasi scale-out ditangani oleh NIC ConnectX-9 dan tray switch Spectrum-X CPO. Ukuran tray switch ini sangat besar, menggambarkan betapa banyak ruang fisik yang didedikasikan untuk komunikasi dalam pusat data AI modern.
Vera Rubin akan mulai diluncurkan pada paruh kedua tahun 2026. Dengan pendinginan cair penuh, sistem daya 800VDC, dan integrasi ketat dengan ekosistem AI, Nvidia terus mendorong batas infrastruktur untuk mendukung beban kerja AI generasi berikutnya.
Komentar
Belum ada komentar.