📑 Daftar Isi

Nvidia Vera CPU monolitik 88-core untuk AI inference

Nvidia Vera: CPU Monolitik 88-Core untuk AI Inference yang Lebih Cepat

Penulis:Nur Hamzah
Terbit:
Diperbarui:
⏱️4 menit membaca
Bagikan:
  • Nvidia Vera adalah CPU monolitik 88-core dengan dukungan SMT untuk 176 thread
  • Fokus pada performa single-thread untuk AI inference dan agen AI
  • Bandwidth LPDDR5X 1,2 TB/s dan core-to-core 3,4 TB/s
  • Klaim performa 1,8x lebih tinggi dari x86 untuk agentic execution
  • Desain monolitik menghindari "chiplet tax" untuk latensi yang konsisten
  • Penerus Rigel dengan core Arm v9.2 akan hadir di CPU Rosa

Telset.id – Nvidia kembali menegaskan posisinya di pasar prosesor server dengan memperkenalkan arsitektur baru pada CPU Vera. Tidak seperti prosesor x86 pada umumnya yang mengandalkan jumlah inti (core) yang sangat banyak, Nvidia justru mendesain Vera sebagai CPU dengan performa single-thread tertinggi di kelasnya. Pendekatan ini secara fundamental mengubah cara pandang terhadap kebutuhan komputasi untuk beban kerja AI, khususnya AI inference dan agen AI.

Dalam pengujian awal oleh Phoronix, Vera menunjukkan performa yang sangat impresif. Dalam skenario single-threaded tertentu, CPU berbasis Arm ini bahkan disebut “absolutely dusted the competition” atau mampu mengalahkan pesaingnya dengan telak. Meskipun AMD kemudian membalas dengan klaim performa 3,3x lebih tinggi untuk rak 100 kW, Nvidia tetap optimis dengan pendekatan desainnya.

Vera adalah CPU monolitik 88-core dengan dukungan SMT (Simultaneous Multithreading) yang menghasilkan total 176 thread. Dengan bandwidth memori LPDDR5X mencapai 1,2 TB/s dan bandwidth core-to-core sebesar 3,4 TB/s, Nvidia mengklaim angka tersebut tiga kali lipat lebih besar dibandingkan “CPU data center lainnya.”

Mengapa Performa Single-Thread Lebih Penting untuk AI?

Penjelasan Nvidia tentang desain Vera sangat menarik. Perusahaan mengidentifikasi bahwa beban kerja AI inference dan agen AI sangat bergantung pada kecepatan satu thread. Contohnya, ketika sebuah reasoning AI menjalankan model untuk satu langkah, ia harus menunggu hasil dari langkah sebelumnya sebelum melanjutkan ke langkah berikutnya. Tidak ada jumlah paralelisasi yang bisa mempercepat proses ini — yang terpenting adalah seberapa cepat satu thread dapat berjalan.

Situasi serupa terjadi pada beban kerja agen AI. Agen B tidak bisa memulai pekerjaannya tanpa mengetahui hasil dari agen A. Oleh karena itu, Nvidia menyebut Vera sebagai “max single-threaded CPU at scale” — CPU dengan performa single-thread maksimal yang tetap bisa di-scale.

Desain monolitik Vera juga menghindari apa yang disebut Nvidia sebagai “chiplet tax.” Pada arsitektur chiplet, scaling ke jumlah core yang lebih tinggi seringkali menimbulkan inkonsistensi dalam akses memori dan performa. Dengan desain monolitik, Vera menjamin latensi yang dapat diprediksi dan bandwidth yang konsisten untuk setiap core.

Nvidia juga mengungkapkan bahwa penerus Vera, yaitu CPU Rigel dengan core Arm v9.2, akan hadir sebagai bagian dari CPU Rosa. Rigel akan memberikan performa per-core yang lebih tinggi lagi melalui “better instruction delivery,” L2 cache yang lebih besar, dan penanganan memori yang lebih baik.

Klaim Performa Nyata dari Berbagai Beban Kerja

Dalam blog post resminya, Nvidia mempublikasikan sejumlah klaim performa yang berasal dari skenario dunia nyata. Untuk beban kerja coding agent, Perplexity mencatat peningkatan performa 1,5x dibandingkan x86, dan percepatan 1,9x saat menjalankan sandbox secara bersamaan.

Untuk beban kerja database, hasilnya lebih mencengangkan lagi. Starburst, perusahaan database federasi, mencatat peningkatan 3x dalam analitik SQL skala besar. Sementara itu, Redpanda mencatat penurunan latensi hingga 6x untuk analitik real-time.

Nvidia juga mengklaim bahwa Vera memberikan performa 1,8x lebih tinggi dibandingkan kompetisi x86 dalam “loaded CPU workloads that represent agentic execution,” 1,5x lebih tinggi dalam coding workflows, dan 3x lebih cepat dalam database analytics.

Perlu dicatat bahwa vendor-approved benchmarks selalu perlu disikapi dengan hati-hati. Nvidia tidak menyebutkan secara spesifik chip x86 mana yang digunakan sebagai pembanding. Namun, bisa ditebak bahwa chip tersebut adalah model mid-to-high-end Intel Xeon dan AMD Epyc.

Pendekatan Nvidia dengan Vera menunjukkan pergeseran paradigma dalam desain CPU server. Selama ini, fokus utama adalah jumlah core sebanyak mungkin untuk memproses banyak tugas secara paralel. Namun, untuk beban kerja AI yang sifatnya sekuensial dan dependen, performa single-thread justru menjadi faktor penentu.

Ini adalah dilema yang familiar bagi administrator server. Chip server dengan core yang sangat banyak bisa memproses banyak tugas sekaligus, tetapi semakin banyak core, semakin lambat kecepatan masing-masing core untuk menjaga performa termal dan konsumsi daya.

Nvidia memposisikan Vera sebagai solusi untuk masalah ini. CPU ini tidak dirancang untuk menjadi “parallel-processing beast,” melainkan CPU dengan performa single-thread maksimal yang tetap bisa di-scale untuk menangani banyak thread secara bersamaan.

Strategi ini juga membuka peluang bagi Nvidia untuk merebut pangsa pasar yang selama ini dikuasai oleh Intel dan AMD. Analis bahkan memperkirakan Nvidia bisa menguasai dua pertiga pasar CPU server x86 dari Intel dan AMD dengan pendapatan yang diperkirakan mencapai $20 miliar.

Namun, persaingan di pasar CPU server AI masih sangat dinamis. Beberapa perusahaan seperti DeepSeek mengembangkan chip AI sendiri untuk mengurangi ketergantungan pada pemasok eksternal. Sementara itu, startup AI Prancis ZML juga merilis software untuk chip non-Nvidia, menunjukkan bahwa ekosistem AI mulai terdiversifikasi.

Ke depannya, kita akan melihat apakah Intel dan AMD akan merespons dengan “max single-threaded CPUs at scale” versi mereka sendiri. Namun satu hal yang jelas: Nvidia telah mengubah aturan permainan di pasar CPU server dengan fokus pada performa single-thread untuk AI.

[CONTENT_END]

Ikuti Telset.id di Google NewsFollow

Komentar

Belum ada komentar.