d-Matrix Raptor: Akselerator 3D DRAM Pertama untuk Inferensi AI

Telset.id – d-Matrix memperkenalkan Raptor, yang diklaim sebagai akselerator 3D DRAM pertama untuk generative inference, dalam ajang Hot Chips 2026 pekan ini. Chip ini menggabungkan compute die berbasis proses TSMC 4nm yang dibonding face-to-face pada pitch 36-micron di atas die DRAM khusus yang dirancang sendiri, menghadirkan bandwidth hingga 100 TB/s dari kapasitas 32GB per kartu.

Co-founder sekaligus CTO d-Matrix, Sudeep Bhoja, menyebut biaya energi antarmuka vertikal ini hanya 0,37 pJ/bit, jauh lebih efisien dibandingkan sekitar 2,4 pJ/bit yang dibutuhkan untuk memindahkan data ke base die HBM4. Angka ini disebutnya sebagai hasil pengukuran langsung dari silikon yang sudah bekerja, bukan sekadar simulasi.

Pendekatan ini menjadi sorotan utama karena membalik tatanan konvensional pada susunan 3D. Alih-alih menempatkan DRAM di atas logika, Raptor justru meletakkan logic die di bagian atas dan DRAM di bawahnya. Dengan demikian, cold plate dapat diletakkan langsung di atas silikon komputasi, sementara die DRAM berfungsi ganda sebagai interposer yang membawa sinyal PCIe dan die-to-die melalui TSV.

“Untuk jumlah daya yang sama, Anda bisa meningkatkan bandwidth,” ujar Bhoja dalam sesi presentasinya. “Dan kami berhasil meningkatkan bandwidth di sini hingga 100 terabyte per detik.”

Proyeksi Performa dan Kapasitas

d-Matrix memproyeksikan Raptor mampu mencapai 988 token per detik per pengguna pada model Kimi K3 dengan 2,8 triliun parameter pada konteks 1 juta token. Namun, perlu dicatat bahwa seluruh angka performa yang ditampilkan merupakan proyeksi internal yang dibangun dari karakterisasi silikon awal, belum diverifikasi pihak ketiga.

Makalah ISCA 2026 yang ditulis bersama University of British Columbia memproyeksikan throughput per kartu sekitar 4,7 kali lebih tinggi dibandingkan desain berbasis HBM. CEO d-Matrix, Sid Sheth, sempat menyatakan kepada CNBC pada Juni lalu bahwa Raptor dijadwalkan meluncur pada 2027, namun di Hot Chips perusahaan tidak memberikan tanggal pasti, informasi volume, maupun harga.

Kapasitas 32GB per kartu memang jauh lebih kecil dibandingkan 192GB hingga 288GB pada akselerator berpendingin HBM4. Namun, d-Matrix menyiasatinya dengan strategi deployment skala rack. Sebanyak 72 kartu membawa total 2,3TB, cukup untuk menampung bobot model Kimi K3 pada presisi 4-bit dengan ruang untuk sekitar 54 pengguna bersamaan pada konteks 1 juta token.

“Bahkan dengan kapasitas memori 32 gigabyte, kami mampu menyelesaikan model SOTA dalam jaringan scale-up, jadi tidak ada bit yang terbuang,” kata Bhoja.

Pertumbuhan KV cache menjadi tantangan tersendiri terhadap aritmetika ini seiring waktu. Co-presenter Aayush Ankit, yang memimpin arsitektur SoC Raptor di d-Matrix sebelum bergabung dengan tim MTIA Meta, menjelaskan mode kegagalannya: “Kami membuat unit komputasi ini sangat cepat. Komunikasi segera menjadi bottleneck.” Ketika model dan konteks tidak lagi muat dalam satu rack, inferensi akan terhambat oleh overhead sinkronisasi antar-kartu yang seharusnya dihilangkan oleh bandwidth vertikal ini.

Desain Termal dan Manajemen Daya

Salah satu inovasi teknis utama Raptor adalah desain termalnya. Stack satu tingkat (one-high stack) mencapai kepadatan daya sekitar 0,5W per milimeter persegi, yang masih bisa ditangani oleh liquid cooling. Namun, DRAM dirancang untuk suhu junction 105°C, di mana retensi data turun drastis dari standar 32ms menjadi hanya 4ms, sehingga memori harus melakukan refresh delapan kali lebih sering.

d-Matrix menyerap penalti ini dengan mengecilkan setiap microbank menjadi 1.366 baris dan sekitar 5,33MB. Hasilnya, satu siklus refresh penuh hanya menghabiskan 1,37% dari total bandwidth.

Die tersebut membawa 840 bank per chiplet, di mana 72 bank (sekitar 9%) merupakan cadangan yang dihubungkan melalui rantai mux dua tingkat yang disebut bank chaining. Sistem ini memungkinkan dua bank yang gagal di mana pun pada die untuk dialihkan sementara kanal tetap simetris. Selain itu, kode Reed-Solomon [132,128] pada logic die mengoreksi dua kesalahan simbol per 128 byte, dengan CRC sebagai lapisan pengaman tambahan.

Antarmuka vertikal ini tidak memiliki PHY, struktur burst, maupun pin sideband, sehingga teknik data-bus inversion konvensional tidak dapat diterapkan. Sebagai gantinya, d-Matrix membandingkan setiap flit 128-byte dengan flit sebelumnya dan menyimpan tag inversi 1-bit bersama metadata ECC, memulihkan sekitar 20% daya I/O yang seharusnya dihemat DBI. Meski demikian, pada beban penuh antarmuka vertikal tetap mengonsumsi 296W dari total anggaran 422W per paket yang diungkap dalam makalah ISCA.

Geometri bank, pohon mux bank cadangan, perilaku refresh, dan kolom ECC interleaved semuanya dirancang bersama dengan compute die. Angka 0,37 pJ/bit hanya bisa dicapai karena kolaborasi desain ini, dan belum ada produsen memori yang memiliki die serupa dalam katalog mereka.

Teka-teki Pemasok DRAM

Pertanyaan terbesar yang menggantung adalah siapa yang memproduksi die DRAM khusus ini. d-Matrix telah menyebut TSMC untuk logic die N4P dan Alchip sebagai mitra desain ASIC serta kemasan 2.5D/3D. Namun, kedua perusahaan tersebut tidak mengoperasikan fab DRAM.

Hanya tiga perusahaan yang memproduksi DRAM leading-edge dalam volume besar, dan ketiganya mengalokasikan kapasitas untuk lini HBM4 yang praktis sudah terjual habis hingga 2026. J.P. Morgan memperkirakan harga DRAM naik lebih dari 400% antara awal 2024 dan akhir 2026. Analis juga mencatat kenaikan harga kontrak 90% hingga 95% pada Q1 2026 saja. CEO SK hynix, Kwak Noh-jung, bahkan mengatakan kepada Reuters pada Juli bahwa “permintaan pelanggan akan tetap lebih tinggi dari kapasitas pasokan kami bahkan melampaui 2030.”

Nvidia, pelanggan terbesar produsen memori, dikabarkan sedang menguji konfigurasi Rubin Ultra dengan memori serendah 192GB karena mungkin tidak dapat memperoleh cukup pasokan HBM4E. Dalam konteks ini, sebuah startup dengan dana terkumpul sekitar $450 juta yang meminta produsen memori menjalankan die khusus dengan geometri bank non-standar berada dalam posisi tawar yang jauh lebih lemah.

Kepadatan die Raptor sebesar 11,4 MB/mm² juga sekitar setengah dari kepadatan HBM4 yang mencapai 21,9 hingga 26,3 MB/mm². Bhoja mengakui hal ini dalam sesi tanya jawab: “Banyak penurunan bagi kami karena kami menggunakan DRAM yang tidak terlalu canggih. Jika kami menggunakan DRAM yang lebih mainstream, seperti yang dilakukan para pemain HBM4, kami bisa mendorongnya hampir ke angka HBM4.”

Samsung membawa konsep serupa ke Hot Chips dengan zHBM, yang menumpuk HBM langsung di atas prosesor dengan klaim efisiensi daya 70% lebih baik dibandingkan pengaturan HBM4E, meski tanpa timeline produksi sebelum HBM5. Perbedaannya, Samsung mengoperasikan fab DRAM sendiri; d-Matrix tidak. Kemampuan mendapatkan wafer dalam volume besar masih menjadi tanda tanya besar.

Perbandingan dengan Cerebras menjadi referensi publik terdekat. Cerebras mengklaim 969 token per detik pada Llama 3.1 405B pada November 2024, dengan verifikasi oleh pihak ketiga Artificial Analysis pada hardware nyata. Klaim d-Matrix sebesar 988 token per detik per pengguna pada model tujuh kali lebih besar akan menjadi lompatan besar jika terbukti, namun belum ada pihak ketiga yang mengukur Raptor, dan titik perbandingan dalam makalah ISCA masih berupa simulasi yang berlabuh pada karakterisasi silikon awal.

Ketika ditanya oleh karyawan Nvidia tentang rencana penumpukan multi-layer, Bhoja menjawab terus terang: “Roadmap kami masih dalam proses, dan kami sudah cukup kesulitan membuat satu tingkat bekerja dan mengatasi semua masalah termalnya.” Pernyataan ini menegaskan bahwa tantangan teknis masih menjadi fokus utama sebelum Raptor dapat diproduksi massal pada 2027.

Bagi industri AI, kehadiran Raptor menunjukkan alternatif menarik di tengah kelangkaan HBM. Namun, tanpa kepastian pemasok DRAM dan verifikasi pihak ketiga atas klaim performa, rencana volume produksi 2027 masih bergantung pada dependensi yang belum diungkapkan.