Telset.id – Samsung memperkenalkan LPDDR5X-PIM sebagai produk memori nyata yang telah melalui proses validasi, bukan sekadar konsep. Teknologi Processing-in-Memory (PIM) ini menawarkan peningkatan performa 2,28x lebih cepat dibandingkan LPDDR5X standar untuk tugas AI inference, sekaligus menjawab masalah biaya HBM yang semakin mahal.
Pengumuman ini disampaikan Samsung dalam ajang Hot Chips 2026, setelah sebelumnya memperkenalkan LPDDR5X-PIM sebagai industri pertama pada awal bulan ini. PIM sendiri merupakan teknologi yang telah didemokan Samsung sejak 2021 melalui HBM stacks pada akselerator AMD. Kini, teknologi tersebut dihadirkan dalam bentuk produk nyata yang telah melewati tahap validasi.
Mengapa LPDDR5X Menjadi Target PIM?
Alasan utama Samsung menambahkan pemrosesan in-memory ke LPDDR5X cukup jelas: HBM terlalu mahal. Dalam presentasinya, Samsung mengungkapkan bahwa memori menyumbang sebagian besar biaya chip AI, dan porsinya terus bertumbuh. Micron bahkan memperingatkan bahwa permintaan wafer HBM semakin memburuk, seperti yang disampaikan dalam Hot Chips 2026.
Ditambah lagi dengan kebutuhan daya DDR5 yang tinggi, apalagi HBM, menjadikan LPDDR5X sebagai target ideal untuk teknologi PIM. Samsung memperkenalkan HBM-PIM pada 2023 dan saat itu juga memperkenalkan konsep LPDDR5X-PIM. Yang dibagikan di Hot Chips kini adalah produk nyata yang telah melalui validasi.
Samsung juga tengah melihat ke depan untuk LPDDR6X-PIM. Perusahaan berharap memiliki spesifikasi awal dari JEDEC tahun ini.
Cara Kerja dan Arsitektur LPDDR5X-PIM
Samsung mengintegrasikan PIM ke dalam LPDDR5X dengan setiap memory bank memiliki PIM sendiri. Ini merupakan kemajuan dibandingkan HBM-PIM, di mana Samsung harus memotong bank untuk menyesuaikan logika. Memory bank, scale register file, dan source register file memberi makan parallel MAC trees. Setelah dihitung, output (baik integer atau floating point) ditulis ke vector register file.
LPDDR5X-PIM dapat beroperasi dalam dua mode: single-bank (DRAM tradisional) atau multi-bank (PIM). Kontroler DRAM tradisional tetap berfungsi, dengan perintah yang beralih antara read/write standar atau read/write PIM tergantung mode. Samsung menggunakan Address Align Mode (AAM) untuk mengatasi masalah reordering dengan DRAM konvensional.
Untuk mendemonstrasikan alur data, Samsung memberikan contoh operasi MAC. Menyimpan 512 bytes data aktivasi FP8, data dipecah menjadi 16 paket 256-bit yang ditulis ke masing-masing bank dan dicatat di Source Register File. Perintah PIMX_RD membaca data bobot dari bank DRAM, memberi makan ke MAC trees bersama data dari SRF. Setelah kalkulasi selesai, output vektor dari setiap operasi ditulis ke Vector Register File.
Perintah PIMX_WR kemudian mentransfer data output kembali ke bank DRAM. Dengan ukuran VRF 1 kbit, maksimal empat kalkulasi dapat ditulis ke VRF. Host kemudian beralih ke mode single-bank dan mengeksekusi 16 reads untuk mengumpulkan output dari semua bank memori.
Spesifikasi dan Performa Awal
Secara fisik, LPDDR5X-PIM terlihat mirip dengan LPDDR5X biasa. Menggunakan array 561-ball standar untuk pengemasan, dengan dua rank 64-bit dan modul 16 GB. Angka kritisnya adalah bandwidth: dengan LPDDR5X-9600, bandwidth puncak mencapai 76,8 GB/s, namun meningkat delapan kali lipat dengan PIM menjadi 614 GB/s dengan mengurangi perpindahan data dan menjaga logika dasar tetap lokal. Samsung menggunakan empat dies per rank, total delapan dies.
Dalam benchmark awal, LPDDR5X-PIM menunjukkan hasil impresif. Pada model run time, Samsung menyebut peningkatan 2,28x dengan PIM, sementara pada tokens per second (TPS), PIM menawarkan peningkatan performa 3,01x. Pengujian dilakukan menggunakan edge AI accelerator dengan menguji Llama 3.1 dengan 8 miliar parameter.
Salah satu keunggulan utama LPDDR5X ada di namanya: low power. Dengan PIM, konsumsi daya menjadi perhatian, tetapi Samsung menyatakan tidak mengharapkan konsumsi daya keseluruhan lebih tinggi dibandingkan DRAM konvensional. Meskipun konsumsi daya puncak akan “jauh lebih tinggi” karena sifat bursty dari PIM, Samsung tetap memperkirakan daya keseluruhan lebih rendah karena berkurangnya jumlah perpindahan data antara DRAM dan host.
“Kami tidak mengalami peningkatan daya yang signifikan,” ujar Karam Hwang dari Samsung.
LPDDR5X selama ini hanya digunakan pada produk konsumen. Namun, modul SOCAMM2 yang dapat diservis memungkinkan Nvidia menggunakan LPDDR5X sebagai pilihan memori untuk CPU Vera. Intel juga menggunakan LPDDR5X dengan akselerator AI Crescent Island terbarunya.
Baca Juga:
Meskipun dengan PIM, LPDDR5X tidak mendekati bandwidth yang tersedia dengan HBM, teknologi ini memiliki banyak aplikasi di tempat lain. Target Samsung untuk server, client, dan mobile menunjukkan LPDDR5X-PIM akan mempercepat edge AI pada perangkat mobile dan client, serta hadir di akselerator dengan cakupan lebih rendah seperti Crescent Island.
Dengan hadirnya LPDDR5X-PIM sebagai produk tervalidasi, Samsung membuka jalan bagi adopsi teknologi PIM yang lebih luas di luar HBM. Ini menjadi alternatif menarik bagi industri AI yang selama ini bergantung pada HBM dengan biaya tinggi. Kehadiran teknologi ini juga menandai langkah signifikan dalam evolusi memori untuk komputasi AI, di mana pemrosesan langsung di dalam memori menjadi semakin penting untuk mengatasi bottleneck performa dan biaya.
Komentar
Belum ada komentar.