Telset.id – OpenAI mengungkap detail arsitektur prosesor inference AI custom pertamanya, Jalapeño, dalam ajang Hot Chips 2026. Chip yang dikembangkan bersama Broadcom ini diklaim mampu mengungguli Nvidia GB200 dan GB300 dalam hal latensi rendah serta performa per watt, sebuah klaim yang langsung menjadi sorotan industri.
Jalapeño adalah akselerator inference AI besar dengan memori HBM4 sebesar 216 GB dan bandwidth hingga 15,4 TB/s. Prosesor ini memberikan performa komputasi hingga 3,4 MXFP8 PFLOPS serta hingga 13,4 MXFP4 PFLOPS pada daya 700W. ASIC ini beroperasi pada 1,70 GHz di silicon yang sudah berjalan di lab OpenAI, dengan rencana peningkatan clock hingga 1,80 GHz untuk performa puncak yang lebih tinggi.
Dari sisi skalabilitas, Jalapeño dapat diperluas hingga 128 akselerator dalam satu rack lokal menggunakan Ethernet 600 GB/s, dan hingga 2.048 ASIC dalam konfigurasi 16-rack pod pada 200 GB/s per prosesor. Sistem lengkapnya menawarkan 27 EFLOPS performa MXFP4, 432 TB memori HBM4, dan 32 PB/s bandwidth memori agregat. Untuk konektivitas, OpenAI menggunakan switch Ethernet Broadcom Tomahawk 6 dengan topologi Clos dua tingkat ‘half-flattened’ yang memberikan bandwidth lebih tinggi untuk traffic tensor-parallel dan bandwidth lebih rendah untuk komunikasi expert-parallel.
OpenAI mengklaim bahwa domain 128-ASIC Jalapeño memiliki lebih dari 1 PB/s bandwidth HBM4 agregat, jauh lebih tinggi dibandingkan GB300 NVL72 yang hanya 576 TB/s. Model satu triliun parameter dengan bobot FP4 membutuhkan sekitar 0,5 TB, sehingga dari perspektif bandwidth murni, sistem ini bisa membaca seluruh model lebih dari 2.000 kali per detik.
Arsitektur NUMA-Style dan Pendekatan Berbeda
Jalapeño menggunakan arsitektur memory-sliced atau NUMA-style dengan 64 core slices, masing-masing dipasangkan dengan slice HBM sendiri untuk menjamin latensi dan bandwidth yang dapat diprediksi. OpenAI menyebut pengaturan ini menghindari konflik yang terkait dengan subsistem memori terpadu dan memungkinkan operand yang sering digunakan tetap dekat dengan sumber daya komputasi.
Untuk menghubungkan 64 core slices, OpenAI menggunakan jaringan kolektif khusus berbandwidth tinggi dan latensi rendah yang memindahkan data ‘register-to-register, with zero conflicts’. Selain itu, Jalapeño memiliki network-on-chip (NoC) tujuan umum terpisah yang menangani komunikasi yang kurang umum seperti akses memori global. OpenAI sengaja membuat NoC umum ini lebih ‘anemic’ karena tidak ingin traffic yang sensitif terhadap performa menggunakannya.
Pendekatan OpenAI berbeda dari Nvidia dalam memecah proses inference. Nvidia menggunakan dua fase: prefill dan decode. Sementara OpenAI membagi proses menjadi tiga fase: prefill (compute-bound), draft (latency-bound), dan verification (bandwidth-bound). Alih-alih menggunakan akselerator khusus untuk setiap fase, OpenAI memilih satu ASIC seimbang yang bisa melakukan semuanya karena jumlah prefill, drafting, dan verifikasi berubah tergantung model dan konteks.
Meskipun siklus pengembangan Jalapeño sangat singkat, OpenAI menyatakan sebagian besar prosesor dirancang dari awal, bukan dirakit dari IP akselerator Broadcom yang ada. Richard Ho dari OpenAI mengatakan compute die menggunakan kembali beberapa interface IP, tetapi sebagian besar Register Transfer Level (RTL) ditulis baru menggunakan XLS dan Verilog. Pekerjaan RTL awal dimulai Februari 2025, desain tape-out November, silicon pertama tiba Mei 2026, dan Codex sudah berjalan di Jalapeño pada bulan yang sama.
Kecepatan pengembangan ini dimungkinkan oleh penggunaan AI secara ekstensif untuk membantu dan mengoptimalkan desain. Lebih dari separuh core ditulis menggunakan bahasa hardware XLS, sementara model AI OpenAI sendiri mencari cara meningkatkan power, performance, dan area (PPA). Dibandingkan desain ‘baseline’ manusia, OpenAI melaporkan peningkatan 56% untuk multiplier BF16, 21% untuk blok dot-product FP4, dan 10% untuk akumulator FP32, serta pengurangan area 10% dan 8% untuk unit matriks dan SIMD.
Jalapeño adalah upaya pertama, tetapi bukan terakhir, OpenAI dalam mengembangkan hardware inference custom. Perusahaan mengatakan generasi kedua sudah dalam pengembangan dan menuju tape-out, sementara Richard Ho menyebut Gen 3 sudah ‘operational’ meskipun slide-nya bertuliskan ‘planned’. Perkembangan ini sejalan dengan tren industri di mana Intel merinci arsitektur akselerator AI terbarunya di ajang yang sama.
Performa Unggul dan Tantangan Pemrograman
OpenAI menggunakan benchmark InferenceX dari SemiAnalysis untuk membandingkan Jalapeño dengan Nvidia GB200/GB300, mengukur jumlah token yang bisa dikirim setiap sistem pada latensi yang sebanding dan menormalkan hasilnya dengan daya paket — 700W untuk Jalapeño, 1.200W untuk GB200, dan 1.400W untuk GB300. Hasilnya, Jalapeño memberikan throughput puncak per watt sekitar 1,5X–1,9X lebih tinggi, latensi end-to-end 1,7X–3,6X lebih rendah, dan minimum time between tokens (TBT) 2,1X–4,1X lebih rendah dibandingkan Nvidia.
Pada titik operasi TBT minimum Nvidia, Jalapeño dapat memberikan throughput hingga 104,3X lebih tinggi. Namun, angka ini berarti pada titik latensi terendah GB300, Jalapeño dapat mempertahankan throughput 104,3X lebih tinggi, bukan berarti Jalapeño 104,3X lebih cepat secara keseluruhan. OpenAI juga mencatat bahwa model internalnya menunjukkan keunggulan yang lebih besar untuk platform Jalapeño dan penerapan multi-token prediction dapat meningkatkan latensi 3X–5X lagi pada efisiensi yang setara.
Karena arsitekturnya yang spatial dan sliced, Jalapeño diprogram berbeda dari GPU CUDA Nvidia. OpenAI mengatakan Jalapeño dapat diprogram menggunakan lingkungan pemrograman tingkat rendah dalam ekosistem Triton open-source. Berbeda dengan CUDA yang memastikan kode berjalan di semua GPU Nvidia, Jalapeño memberikan kontrol eksplisit kepada software atas di mana data dan komputasi ditempatkan. Setiap core memiliki akses cepat ke bagian lokal HBM-nya, sehingga software harus menentukan di mana tensor berada secara fisik dan bagaimana distribusinya di seluruh chip.
Ini membuat pemrograman arsitektur spatial lebih rumit, sehingga OpenAI juga menggunakan AI untuk menemukan penempatan data, penjadwalan, dan pola komunikasi yang efisien serta mengoptimalkan kernel untuk hardware. Pemetaan optimal bergantung pada arsitektur, jadi ketika OpenAI mengubah jumlah core, organisasi memori lokal, atau bandwidth jaringan kolektif di generasi berikutnya, penempatan dan penjadwalan lama mungkin tidak lagi optimal.
Di sisi lain, software yang ditulis untuk Blackwell akan bekerja di Rubin dan kemudian Feynman tanpa modifikasi. Namun, berdasarkan hasil performa yang dipublikasikan, stack software OpenAI ternyata cukup baik dibandingkan CUDA. Ini menjadi catatan penting karena Nvidia juga memamerkan arsitektur Groq 3 LPX di ajang Hot Chips 2026, menunjukkan persaingan ketat di pasar akselerator AI.
Dengan semua detail yang diungkap, OpenAI menegaskan bahwa keunggulan utama platform inference AI-nya bukan pada performa absolut, melainkan pada pencapaian performa per watt dan latensi rendah. Meskipun performa absolut Jalapeño mungkin kalah dari Nvidia Blackwell atau Rubin, pendekatan efisiensi ini bisa menjadi pembeda signifikan di pusat data AI yang semakin memperhatikan konsumsi daya.
Baca Juga:
Keberhasilan Jalapeño juga menunjukkan bahwa AI kini berperan besar dalam desain chip itu sendiri. Siklus pengembangan yang hanya sembilan bulan dari RTL hingga tape-out, dengan bantuan AI untuk optimasi PPA, menjadi bukti bahwa pendekatan ini efektif. OpenAI menyebut optimasi berbantuan AI bahkan membantu memasukkan sirkuit ke blok floorplan yang sebelumnya tidak muat, meskipun perusahaan enggan merinci sirkuit apa itu.
Dengan generasi kedua yang sudah menuju tape-out dan generasi ketiga yang sudah dalam pengembangan, OpenAI jelas serius membangun ekosistem hardware sendiri. Ini bisa menjadi tekanan baru bagi Nvidia yang selama ini mendominasi pasar akselerator AI, terutama jika klaim efisiensi Jalapeño terbukti konsisten dalam skala produksi.
Komentar
Belum ada komentar.