Telset.id – Para peneliti dari Korea Selatan dan Jepang telah mempresentasikan dua proposal integrasi memori inovatif yang dirancang untuk meningkatkan kapasitas dan bandwidth High-Bandwidth Memory (HBM) tanpa menambah panas berlebih pada tumpukan DRAM. Inovasi ini menjadi salah satu solusi paling krusial untuk mengatasi hambatan utama pada akselerator AI masa depan.
Kedua proposal tersebut, yaitu V-Die dari kolaborasi riset Korea dan MOSAIC dari kelompok peneliti Universitas Tokyo, dipresentasikan pada Simposium IEEE/JSAP 2026 tentang Teknologi dan Sirkuit VLSI pada bulan Juni. Ide utama dari kedua pendekatan ini adalah menempatkan die memori DRAM secara vertikal atau pada tepinya, alih-alih hanya menumpuk die memori ke atas seperti pada HBM konvensional.
Proposal asal Korea, yang disebut Vertical-Die (V-Die), dipresentasikan oleh para peneliti di Ulsan National Institute of Science and Technology (UNIST). Desain ini memutar die DRAM kustom secara vertikal, mengganti through-silicon vias (TSV) untuk membebaskan area die bagi lebih banyak sel memori, memberikan setiap die I/O tepi bawahnya sendiri, dan menjalankan saluran pendingin cair di antara die yang berdekatan. Dalam simulasi terhadap sistem HBM4 pada kapasitas yang sama, sistem V-Die dilaporkan mencapai 540 token per detik pada beban kerja seukuran GPT-3, dibandingkan dengan 296 token per detik untuk HBM4.
Sementara itu, proyek Jepang bernama MOSAIC mengambil ide “tumpukan menyamping” yang serupa, namun berfokus pada kesulitan praktis dalam menghubungkan begitu banyak die vertikal ke GPU atau substrat paket. Dipresentasikan oleh peneliti Universitas Tokyo, karya MOSAIC menggunakan penumpukan die ortogonal dan antarmuka die-to-die tanpa kontak, di mana data ditransfer melalui kumparan induktif kecil daripada mengharuskan setiap bantalan sinyal mendarat dengan sempurna pada kontak fisik. Para peneliti mengatakan bahwa prototipe antarmuka ini mencapai hingga 4 Gbps per saluran, sementara struktur memorinya dapat menggandakan kapasitas kelas HBM4 dalam konfigurasi DRAM-on-GPU.
Kedua proyek ini bertujuan untuk memecahkan masalah yang terus berkembang di mana chip AI terhambat oleh memori. Akselerator modern dapat melakukan komputasi dalam jumlah besar, tetapi model yang besar dan kuat bergantung pada pemindahan data dalam jumlah besar antara memori dan komputasi. Inilah mengapa HBM telah menjadi salah satu teknologi penentu perangkat keras AI modern. Teknologi ini mengatasi hambatan memori dengan menumpuk beberapa die DRAM secara vertikal pada die dasar dan menempatkan tumpukan ini sangat dekat dengan prosesor.
Namun, struktur yang sama menciptakan beberapa masalah. Meskipun tumpukan yang lebih tinggi menambah kapasitas, mereka juga membuat pembuangan panas menjadi lebih sulit. Panas yang dihasilkan di die bagian bawah dan pada antarmuka berkecepatan tinggi harus melewati lapisan silikon, bahan pengikat, underfill, dan struktur paket sebelum mencapai heat spreader. Selain itu, TSV mengkonsumsi area die yang seharusnya dapat digunakan untuk sel memori, dan seiring meningkatnya bandwidth, lebih banyak routing dan I/O memberikan tekanan tambahan pada integritas sinyal dan biaya pengemasan.
HBM4, generasi terbaru HBM, mengatasi sejumlah tantangan ini. Sementara itu, perusahaan seperti SK hynix, Samsung, dan Micron berlomba untuk meningkatkan kecepatan, kapasitas, kinerja die dasar, dan manajemen termal. SK hynix telah menunjukkan iHBM, yang menanamkan elemen pendingin ke area antarmuka HBM, dan Samsung telah menunjukkan purwarupa HBM5 dengan pendinginan Heat Path Block untuk mengekstrak panas dari tumpukan secara lebih langsung. Namun, semuanya mempertahankan struktur tumpukan ke atas yang sama.
Konvensi inilah yang ditantang oleh V-Die dan MOSAIC. Dengan mendirikan die DRAM secara vertikal, para peneliti memperlihatkan luas permukaan silikon yang jauh lebih besar ke jalur pendinginan. Secara teori, ini mengubah tumpukan memori menjadi sesuatu yang lebih mirip dengan susunan sirip heat sink, di mana panas dapat bergerak secara lateral dan keluar secara lebih langsung daripada terjebak di tengah tumpukan vertikal yang tebal. Ini juga membuka pintu bagi skema koneksi baru di sepanjang bagian bawah atau samping setiap die, daripada memaksa setiap die berkomunikasi melalui TSV yang berjalan vertikal melalui tumpukan.
Untuk V-Die, perubahan utamanya adalah menghilangkan TSV dari die memori dan menggantinya dengan koneksi tepi bawah. Setiap die DRAM mendapatkan I/O sendiri di sepanjang tepi bawah dan terhubung langsung ke substrat, dengan tautan dilaporkan berjarak setiap 20 mikron. Tim mengatakan tata letak ini memberikan koneksi empat kali lebih banyak daripada HBM4 dan memotong waktu baca memori sebesar 37%, meskipun beberapa sinyal harus berjalan lebih jauh melintasi paket untuk mencapai prosesor.
Pendinginan adalah bagian lain dari argumen V-Die. Proposal ini menempatkan saluran pendingin mikrofluida di antara die DRAM vertikal yang berdekatan, memungkinkan pendingin untuk menghilangkan panas lebih dekat ke sumbernya. Menurut para peneliti, ini dapat menjaga suhu tumpukan sekitar 45°C, jauh di bawah kisaran 80°C-plus yang terkait dengan sistem HBM yang padat. Dalam simulasi tumpukan 16-die yang cocok dengan perangkat keras kelas H100 pada model skala GPT-3, V-Die mencapai 540 token per detik, dibandingkan dengan HBM4 yang hanya 296, dan memotong latensi token pertama sebesar 32%, atau sekitar 24 milidetik.
Sementara itu, MOSAIC berfokus pada pembuatan tumpukan menyamping yang dapat diproduksi. Karena die dirakit secara datar dan kemudian diputar pada tepinya, bahkan variasi ketebalan die beberapa mikron di lusinan die dapat menambah ketidaksejajaran di mana bantalan sinyal tidak lagi mendarat. Jawaban tim Jepang adalah antarmuka tanpa kontak berdasarkan kopling induktif. Satu sisi die memori membawa kumparan lonjong, sementara serangkaian kumparan yang sesuai berada di substrat atau chip pasangan. Arus dalam satu kumparan menginduksi sinyal di kumparan lainnya, memungkinkan data melintasi celah kecil tanpa kontak sinyal logam-ke-logam langsung. Ini menghilangkan kebutuhan akan tumpang tindih yang tepat, memberikan paket toleransi yang lebih besar terhadap variasi perakitan. Daya, yang membutuhkan lebih sedikit koneksi yang lebih besar daripada data, masih dapat disuplai melalui kontak fisik di sisi kubus memori.
Prototipe MOSAIC VLSI mencapai hingga 4 Gbps per saluran dan mendemonstrasikan integrasi 3D bebas TSV untuk tata letak memori-on-GPU. Tim mengatakan pendekatan ini dapat memungkinkan kapasitas memori dua kali lipat dari HBM4 tanpa secara signifikan meningkatkan suhu puncak. Demonstrasi perangkat keras bump-MOSAIC terkait di ECTC menggunakan microbumps dengan pitch 100-mikron, mencapai keselarasan penumpukan dalam 6 mikron sebagaimana diverifikasi oleh sinar-X CT, dan menunjukkan konfigurasi dengan konduktivitas termal tiga kali lipat dari penumpukan konvensional sambil menambahkan hingga 30% lebih banyak kapasitas memori.
Meskipun hasilnya terlihat menjanjikan, baik V-Die maupun MOSAIC belum mendekati penggantian HBM komersial. Keduanya belum mendekati pengiriman. V-Die masih merupakan arsitektur yang diusulkan, dengan purwarupa sedang dalam pengerjaan untuk memvalidasi perilaku termal dan kelistrikannya; MOSAIC memiliki perangkat keras bukti konsep, tetapi para peneliti belum menunjukkan bahwa ia dapat diskalakan ke kapasitas, hasil produksi, biaya, dan keandalan DRAM komersial. Namun demikian, solusi yang layak untuk masalah memori AI yang memiliki banyak sisi merupakan perkembangan yang disambut baik. SoftBank dan Z-Angle Memory (ZAM) Intel serta 3D X-DRAM NEO Semiconductor — semuanya masih dalam pengembangan — bertujuan untuk memecahkan kendala memori konvensional.
Studi tentang kegagalan AI dalam analisis menjadi pengingat bahwa tidak semua teknologi siap diterapkan. Sementara itu, pasar secara keseluruhan sudah merasakan tekanan pada harga dan ketersediaan, bahkan ketika pembuat memori mengalihkan kapasitas ke produk HBM dan server AI yang lebih menguntungkan, mendorong harga RAM konsumen semakin tinggi.
Komentar
Belum ada komentar.