Nvidia Luncurkan NVHBM untuk Chip AI Kustom, Bandwidth Naik 30%

Telset.id – Nvidia memperkenalkan NVHBM, implementasi kustom dari high-bandwidth memory (HBM) yang menjanjikan bandwidth lebih tinggi, konsumsi daya lebih rendah, dan footprint lebih kecil dibandingkan HBM4e standar. Inovasi ini dirancang khusus untuk mitra yang mengembangkan chip AI kustom melalui program NVLink Fusion.

NVHBM merupakan building block baru dalam program NVLink Fusion Nvidia, yang memberi mitra komponen dasar untuk menghubungkan chip kustom dengan scale-up domain NVLink. Teknologi ini memungkinkan banyak prosesor terpisah bergabung menjadi satu sistem koheren, seperti sistem akselerator skala rak Vera Rubin NVL72.

Menurut Nvidia, NVHBM adalah base die HBM kustom yang menawarkan bandwidth hingga 30% lebih tinggi per stack dibandingkan HBM4e standar. Bagi beban kerja AI yang terikat bandwidth memori, peningkatan ini berarti throughput lebih tinggi, termasuk tingkat token-per-detik yang lebih baik untuk inferensi AI.

Keunggulan Teknis NVHBM

Salah satu perubahan arsitektural utama NVHBM adalah pemindahan memory controller ke dalam base die HBM stack. Secara tradisional, HBM memory controller terintegrasi dalam die silikon utama pada paket. Dengan NVHBM, Nvidia menyediakan PHY kustom yang lebih kecil yang dapat diintegrasikan mitra ke dalam desain mereka.

Pendekatan ini membebaskan real estate paket yang berharga, yang kemudian dapat digunakan untuk area compute tambahan. Nvidia mengklaim desain ini memungkinkan hingga 30% lebih banyak compute pada die silikon utama. NVHBM juga menyederhanakan routing interposer yang digunakan untuk menghubungkan banyak chip dalam desain dengan teknik advanced packaging.

Dari sisi efisiensi daya, NVHBM menggunakan daya 15% lebih sedikit dibandingkan HBM4e komoditas. Nvidia menekankan bahwa setiap watt yang tidak digunakan untuk produksi token adalah watt yang terbuang. Penghematan daya ini dapat digunakan untuk peningkatan performa-per-watt, dialokasikan ulang ke unit fungsional tambahan untuk desain akselerator kustom, atau diterjemahkan menjadi performa berkelanjutan yang lebih tinggi dalam anggaran daya yang sama.

Bandwidth lebih tinggi dengan daya lebih rendah merupakan keuntungan besar bagi akselerator AI yang memindahkan struktur data masif seperti model weights dan KV caches. Penghematan energi pada perpindahan data dapat dialokasikan kembali untuk performa lebih tinggi dari akselerator itu sendiri atau mendukung jumlah akselerator lebih besar dalam envelope daya tetap yang sama.

Amazon Annapurna Labs Jadi Mitra Pertama

Nvidia mengumumkan bahwa Annapurna Labs milik Amazon akan menjadi mitra pertama pada NVHBM. Nafea Bshara, VP Annapurna, menyatakan: “Kami menantikan kolaborasi teknologi ini untuk menguntungkan desain infrastruktur AWS di masa depan.”

Nvidia mengatakan NVHBM dirancang dan divalidasi bersama “vendor memori terkemuka,” sehingga menjanjikan waktu pemasaran lebih cepat bagi pengembang silikon kustom dibandingkan mengimplementasikan HBM komoditas dari awal. Penting untuk digarisbawahi bahwa NVHBM bukan pengganti HBM, melainkan building block baru yang hanya ditawarkan Nvidia kepada mitra silikon kustomnya.

Chip Trainium 4 generasi berikutnya dari Annapurna sudah mendukung antarmuka scale-up NVLink Fusion. Dengan demikian, besar kemungkinan chip lanjutan juga akan mendukung NVHBM. Namun perlu dicatat, semua keunggulan NVHBM saat ini masih merupakan alasan bagi calon mitra Nvidia untuk mempertimbangkan mengadopsi NVLink Fusion dan NVHBM dalam desain kustom mereka, bukan manfaat yang akan terwujud dalam sistem rak Rubin yang sudah diproduksi.

Pengumuman ini muncul di tengah persaingan ketat industri akselerator AI. Beberapa pemain besar seperti OpenAI juga dikabarkan mengembangkan chip sendiri. Perkembangan chip kustom menunjukkan tren industri yang semakin serius dalam mengembangkan silikon AI khusus. Penggunaan GPU Nvidia di berbagai sektor juga terus meluas, dari pusat data hingga aplikasi luar angkasa.

Dengan NVHBM, Nvidia memperkuat posisinya tidak hanya sebagai pemasok GPU, tetapi juga sebagai ekosistem pendukung bagi pengembang chip AI kustom. Program NVLink Fusion dan komponen seperti NVHBM memberi mitra fleksibilitas untuk merancang akselerator sesuai kebutuhan spesifik mereka, sambil tetap memanfaatkan infrastruktur interkoneksi Nvidia.

Ke depan, keberhasilan NVHBM akan sangat bergantung pada adopsi mitra dan kemampuan Nvidia menjaga kompatibilitas dengan ekosistem yang ada. Amazon sebagai mitra pertama memberikan sinyal kuat bahwa pendekatan ini memiliki daya tarik bagi pemain besar infrastruktur cloud.

Bagi industri AI, NVHBM mewakili langkah signifikan dalam evolusi memori bandwidth tinggi. Dengan bandwidth 30% lebih tinggi dan daya 15% lebih rendah, teknologi ini berpotensi menjadi standar baru bagi akselerator AI kustom generasi berikutnya.

Nvidia terus memperluas portofolio inovasinya di tengah klaim kompetitor yang menantang dominasinya. NVHBM menjadi bukti bahwa Nvidia tidak hanya mengandalkan kekuatan GPU komersial, tetapi juga membangun fondasi bagi ekosistem chip kustom yang lebih luas.