Telset.id – Meta berencana menggunakan chip AI AMD Instinct MI450 yang dikustomisasi khusus untuk menjalankan sistem rekomendasi di platform media sosialnya. Langkah ini diambil untuk mengoptimalkan biaya operasional sekaligus mengurangi konsumsi daya secara signifikan.
Menurut laporan dari SemiAnalysis, chip kustom tersebut akan memiliki kapasitas memori tiga kali lebih kecil dibandingkan versi standar Instinct MI455X. Keputusan ini menunjukkan strategi Meta untuk menekan biaya material hingga puluhan juta dolar AS tanpa mengorbankan performa untuk beban kerja spesifik.
AMD sendiri telah mengonfirmasi kerja sama dengan Meta untuk memasok 6 GW accelerator AI Instinct selama lima tahun ke depan. Sebagian dari pengiriman tersebut memang diperuntukkan bagi varian kustom, termasuk yang berbasis desain Instinct MI450.
Spesifikasi Chip Kustom Meta
Berdasarkan laporan yang sama, chip Instinct MI455X kustom untuk Meta akan membawa memori HBM4 sebesar 144 GB menggunakan enam paket 8-Hi. Sebagai perbandingan, varian standar Instinct MI455X memiliki kapasitas 432 GB HBM4 dengan bandwidth mencapai 19,6 TB/s.
Selain pengurangan kapasitas memori, bagian komputasi juga mengalami penurunan signifikan. Hal ini membuat chip tersebut tidak optimal untuk pelatihan model AI frontier atau menjalankan inference skala besar. Namun, untuk sistem rekomendasi yang menjadi tulang punggung Facebook dan Instagram, rasio bandwidth per dollar menjadi jauh lebih kompetitif.
Pengurangan spesifikasi ini secara langsung berdampak pada bill of materials (BOM) karena HBM4 merupakan komponen yang sangat mahal. Ukuran paket chip yang lebih kecil juga turut menekan biaya produksi secara keseluruhan. Meta diperkirakan dapat menghemat puluhan juta dolar AS dengan menggunakan chip kustom ini.
Keuntungan dan Risiko Strategi Kustomisasi
Dari sisi positif, chip kustom ini akan mengonsumsi daya yang jauh lebih rendah saat menjalankan beban kerja rekomendasi tanpa mengurangi performa secara berarti. Keseimbangan antara CPU dan GPU untuk sistem rekomendasi juga dinilai lebih baik. Jika Meta menjalankan accelerator ini untuk beban kerja rekomendasi sepanjang masa pakainya, total-cost-of-ownership (TCO) bisa menjadi jauh lebih efisien.
Namun, strategi ini memiliki kelemahan signifikan. Masalah terbesar adalah hilangnya fleksibilitas. Penurunan kemampuan komputasi dan memori membuat chip ini kurang menarik untuk pelatihan LLM (large language model) dan inference. Kapasitas 144 GB dinilai terlalu terbatas untuk kebutuhan modern LLM.
Selain itu, terdapat masalah interchangeability. Varian Instinct MI455X standar dapat dialihkan dari beban kerja rekomendasi ke pelatihan atau inference kapan saja. Sebaliknya, versi kustom Meta hanya optimal untuk beban kerja tertentu. Jika permintaan komputasi Meta bergeser ke pelatihan model dan inference LLM, perusahaan bisa terjebak dengan basis besar accelerator yang dioptimalkan untuk campuran beban kerja yang berbeda.
Dampak terhadap Persaingan dengan Nvidia
Konsekuensi dari strategi ini justru berpotensi menguntungkan Nvidia. Meta sudah mengoperasikan infrastruktur Nvidia dalam skala besar untuk pelatihan model dan inference. Untuk beban kerja tersebut, pilihan Meta selain chip kustom kemungkinan besar adalah sistem Instinct MI455X full-fat dari AMD atau platform kelas atas dari Nvidia.
Ironisnya, langkah Meta mengkustomisasi accelerator AMD untuk menekan biaya justru bisa memaksa divisi AI frontier-nya untuk membeli lebih banyak accelerator serba guna dari Nvidia. Spesialisasi yang dilakukan Meta untuk sistem rekomendasi membuat chip tersebut kurang cocok untuk kebutuhan pelatihan model yang terus berkembang.
Dengan demikian, meskipun Meta berhasil mengoptimalkan biaya untuk satu jenis beban kerja, perusahaan tetap harus mengeluarkan dana besar untuk kebutuhan komputasi AI yang lebih luas. Hal ini menunjukkan bahwa strategi kustomisasi chip AI memiliki konsekuensi strategis yang kompleks, terutama bagi perusahaan yang memiliki portofolio beban kerja AI yang beragam.
Komentar
Belum ada komentar.