Telset.id – Nvidia memperkenalkan NVHBM, implementasi kustom high-bandwidth memory yang dirancang khusus untuk mitra pengembang chip AI. Teknologi baru ini menjanjikan peningkatan bandwidth hingga 30% per stack dibandingkan HBM4e standar, sekaligus mengurangi konsumsi daya hingga 15%. Langkah ini menjadi bagian dari program NVLink Fusion yang memungkinkan mitra Nvidia menghubungkan chip kustom mereka ke dalam sistem skala rak seperti Vera Rubin NVL72.
NVHBM merupakan base die HBM kustom yang menawarkan bandwidth lebih tinggi, konsumsi daya lebih rendah, dan jejak on-die lebih kecil dibandingkan HBM4e tradisional. Nvidia menyatakan teknologi ini telah dirancang dan divalidasi bersama “leading memory vendors”, sehingga menjanjikan waktu pemasaran yang lebih cepat bagi pengembang silikon kustom dibandingkan mengimplementasikan HBM komoditas dari awal.
Perlu ditegaskan bahwa NVHBM bukanlah pengganti HBM. Ini adalah blok bangunan baru yang hanya ditawarkan Nvidia kepada mitra silikon kustomnya. Bagi workload AI yang terikat bandwidth memori, peningkatan bandwidth ini berarti throughput lebih tinggi, seperti tingkat token-per-detik yang lebih baik untuk inferensi AI.
Desain yang Membebaskan Ruang Komputasi
Base die NVHBM kustom juga mengurangi jejak sirkuit terkait memori pada die akselerator kustom utama. Secara tradisional, pengontrol memori HBM diintegrasikan ke dalam die silikon utama pada paket. NVHBM sebaliknya memindahkan pengontrol memori ke dalam base die tumpukan HBM dan menyediakan PHY kustom yang lebih kecil yang dapat diintegrasikan pelanggan NVLink Fusion ke dalam desain mereka.
Nvidia menyebut pendekatan ini membebaskan real estate paket yang berharga yang kemudian dapat digunakan untuk area compute die tambahan — hingga 30% lebih banyak komputasi pada die silikon utama. NVHBM juga menjanjikan penyederhanaan routing interposer yang digunakan untuk menggabungkan beberapa chip dalam desain yang menggunakan teknik pengemasan canggih.
Efisiensi Daya untuk Skala Besar
NVHBM memberikan penghematan daya dibandingkan tumpukan HBM4e standar. Nvidia secara konsisten menekankan bahwa setiap watt yang tidak digunakan untuk produksi token adalah watt yang terbuang. NVHBM menggunakan daya 15% lebih sedikit dibandingkan HBM4e komoditas, dan penghematan daya tersebut dapat digunakan untuk peningkatan performa-per-watt, dialokasikan ulang menjadi lebih banyak unit fungsional untuk desain akselerator kustom, atau diterjemahkan menjadi performa berkelanjutan yang lebih tinggi dalam anggaran daya yang sama.
Bandwidth lebih tinggi dengan daya lebih rendah merupakan kemenangan besar bagi akselerator AI yang memindahkan struktur data masif seperti model weights dan KV caches, terutama ketika penghematan tersebut dikalikan di ribuan chip. Energi yang dihemat pada pergerakan data dapat dialokasikan kembali untuk performa lebih tinggi dari akselerator itu sendiri atau untuk mendukung jumlah akselerator yang lebih besar dalam envelope daya tetap yang sama.
Baca Juga:
Amazon Jadi Mitra Pertama
Saat ini, NVHBM masih merupakan alasan bagi calon mitra Nvidia untuk mempertimbangkan penggabungan NVLink Fusion dan NVHBM ke dalam desain kustom mereka, bukan manfaat yang akan terwujud dalam sistem rack-scale Rubin yang sudah diproduksi. Seiring dengan peluncuran NVHBM itu sendiri, Nvidia mengumumkan bahwa Annapurna Labs milik Amazon akan menjadi mitra pertamanya untuk NVHBM.
VP Annapurna, Nafea Bshara, menyatakan: “Kami menantikan kolaborasi teknologi ini untuk menguntungkan desain infrastruktur AWS di masa depan.” Chip Trainium 4 generasi berikutnya dari Annapurna sudah mendukung antarmuka scale-up NVLink Fusion, sehingga kemungkinan besar chip lanjutannya juga akan mendukung NVHBM.
Teknologi ini menjadi bagian dari strategi Nvidia yang lebih luas dalam ekosistem AI. Sebelumnya, Nvidia juga memamerkan arsitektur terbaru di Hot Chips 2026. Selain itu, persaingan di pasar chip AI semakin ketat dengan hadirnya pemain baru seperti chip dari OpenAI yang diklaim unggul di benchmark.
Kehadiran NVHBM menunjukkan bagaimana Nvidia memperluas ekosistemnya melampaui GPU standalone. Dengan menyediakan blok bangunan untuk mitra silikon kustom, Nvidia memperkuat posisinya sebagai penyedia infrastruktur AI menyeluruh. Bagi pengembang chip kustom, NVHBM menawarkan jalur lebih cepat menuju implementasi HBM berperforma tinggi tanpa harus memulai dari nol.
Namun, perlu dicatat bahwa manfaat NVHBM baru akan dirasakan pada desain chip kustom generasi berikutnya. Sistem Rubin yang sudah diproduksi tidak akan menikmati keunggulan ini. Ini adalah investasi jangka panjang bagi mitra Nvidia yang merancang akselerator AI kustom untuk kebutuhan spesifik mereka.
Dengan bandwidth hingga 30% lebih tinggi dan konsumsi daya 15% lebih rendah, NVHBM berpotensi menjadi komponen kunci dalam generasi akselerator AI kustom berikutnya. Kolaborasi dengan Annapurna Labs menunjukkan bahwa pemain besar seperti Amazon melihat nilai dalam pendekatan ini untuk infrastruktur AI mereka di masa depan.
Komentar
Belum ada komentar.