Telset.id – OpenAI mengklaim chip inference buatannya yang diberi nama Jalapeño mampu mengalahkan akselerator Nvidia GB300 dalam benchmark pertama yang dipublikasikan. Klaim ini disampaikan pada ajang Hot Chips pada Selasa (25/8/2026), hanya sepekan setelah Nvidia menyetujui pendanaan hingga US$105 miliar untuk pusat data milik OpenAI.
Jalapeño merupakan ASIC inference yang dikembangkan bersama Broadcom. Berdasarkan pengujian menggunakan suite InferenceX publik dari SemiAnalysis, chip ini mencatatkan throughput per kilowatt 1,5 hingga 1,9 kali lebih tinggi serta latensi ujung-ke-ujung 1,7 hingga 3,6 kali lebih rendah dibandingkan sistem rack Nvidia GB200 dan GB300.
Yang menarik, keunggulan tersebut diraih dengan konsumsi daya yang jauh lebih rendah. Jalapeño adalah komponen dengan rating 700W, sementara lawannya Nvidia GB300 memiliki rating 1.400W. OpenAI juga melaporkan bahwa daya terukur berkelanjutan Jalapeño dalam pengujian tetap berada di angka 550W atau di bawahnya.
OpenAI berencana mulai menerapkan chip ini di pusat datanya sendiri pada akhir tahun ini. Pengujian mencakup tiga model open-source: GPT-OSS 120B, DeepSeek R1 670B, dan Kimi K2.5 dari Moonshot AI yang memiliki 1 triliun parameter.
Keunggulan di Titik Latensi Rendah
Keunggulan terbesar Jalapeño justru muncul pada kondisi operasi latensi rendah. OpenAI melaporkan throughput per kilowatt 8,6 hingga 104,3 kali lebih tinggi dibandingkan pengaturan tercepat GB300 dalam hal waktu antar-token. Ini merupakan titik di mana model AI harus merespons dengan sangat cepat, sebuah skenario krusial untuk aplikasi real-time.
Namun, perlu dicatat bahwa pengujian utama membandingkan prediksi token tunggal (single-token prediction) Jalapeño dengan konfigurasi GB300 yang juga melakukan hal serupa. Padahal, deployment Nvidia di produksi umumnya menggunakan multi-token prediction. Ketika Jalapeño dibandingkan dengan GB300 yang menjalankan multi-token prediction, keunggulan efisiensi puncaknya menyusut menjadi sekitar 1,5 kali.
SemiAnalysis, yang mengaku menjalankan InferenceX bersama para insinyur OpenAI di laboratorium perusahaan, menyebut chip ini “mengalahkan setiap chip Nvidia, AMD, dan Google yang pernah kami uji.” Namun, Jalapeño tidak diuji terhadap Vera Rubin, platform Nvidia yang dijadwalkan mendukung gigawatt pertama sistem Nvidia yang disetujui OpenAI untuk digunakan pada paruh kedua 2026.
Perlu ditegaskan juga bahwa chip ini tidak melatih model, sebuah beban kerja di mana perangkat keras Nvidia masih tak tertandingi.
Spesifikasi dan Strategi Memori
Setiap paket Jalapeño, yang diumumkan pada Juni setelah siklus RTL-to-tapeout selama sembilan bulan, memasangkan die komputasinya dengan enam tumpukan HBM4 dengan total kapasitas 216 GiB pada kecepatan 15,4 TB/s. Sebagai perbandingan, GB300 membawa 288GB HBM3E dengan rating 1.400W. Dengan kata lain, per watt daya terukur, chip OpenAI memiliki memori sekitar 50 persen lebih banyak.
Presentasi Hot Chips dari OpenAI menyatakan bahwa hambatan utama yang menjadi target arsitektur mereka adalah mengekspos bandwidth HBM agregat, bukan sekadar menambah kapasitasnya. Ini menjadi strategi penting mengingat HBM adalah komoditas paling ketat di industri semikonduktor saat ini.
Samsung, SK hynix, dan Micron telah menjual kapasitas HBM mereka hingga tahun 2027. Kelangkaan ini begitu parah sehingga Nvidia dikabarkan sedang menguji konfigurasi Rubin Ultra yang dipangkas dengan kapasitas serendah 192GB. CEO SK hynix, Kwak Noh-jung, bahkan telah memperingatkan bahwa 2027 akan menjadi tahun terburuk dari krisis ini.
Micron juga menyampaikan pada konferensi Hot Chips yang sama pada 23 Agustus bahwa HBM mengonsumsi sekitar tiga kali luas wafer DDR5 untuk kapasitas setara, sebuah penalti yang melebar di setiap generasi.
Skala penerapan Jalapeño dalam perjanjian deployment 10GW yang ditandatangani OpenAI dengan Broadcom pada Oktober lalu akan menjadikan perusahaan ini pemohon baru yang signifikan untuk pasokan HBM4. Saat ini, Nvidia mendominasi alokasi tersebut melalui kesepakatan multi-tahun dengan SK hynix.
Chip generasi kedua dikabarkan mendekati tahap tapeout dan diperkirakan selesai dalam hitungan bulan, menurut Bloomberg. Konsep untuk generasi ketiga juga sedang dikerjakan. Chip pertama dilaporkan menggunakan proses kelas 3nm dari TSMC, menempatkan OpenAI dalam antrian wafer, memori, dan pengemasan canggih yang sama dengan Blackwell dan Rubin untuk masa mendatang.
OpenAI mengakuisisi input-input tersebut sambil memperdalam ketergantungan finansialnya pada perusahaan yang baru saja mereka benchmark. Pada 17 Agustus, Nvidia setuju menyediakan pendanaan hingga US$105 miliar untuk kampus pusat data yang disewa OpenAI di Ohio. Richard Ho, wakil presiden perangkat keras OpenAI, menyatakan kepada Bloomberg, “Nvidia adalah mitra yang sangat baik, dan kami terus membutuhkan banyak produk Nvidia.”
Kehadiran Jalapeño menandai langkah berani OpenAI untuk mengurangi ketergantungan pada Nvidia di sisi inference, meskipun hubungan keduanya tetap erat secara finansial. Persaingan di pasar akselerator AI dipastikan semakin memanas, terutama dengan kelangkaan HBM yang menjadi tantangan bersama seluruh industri.
[CONTENT_END]
Komentar
Belum ada komentar.