Telset.id – Seorang penggemar komputasi berhasil menggandakan total VRAM sistemnya menjadi 32GB hanya dengan modal sekitar Rp 4,4 juta. Caranya dengan memanfaatkan GPU enterprise bekas yang bising dan sudah usang, Tesla V100 SXM2 16GB, untuk keperluan inferensi Large Language Model (LLM) lokal.
Proyek modifikasi ini dilakukan oleh Oscar Molnar. Ia membeli Tesla V100 SXM2 dengan 16GB HBM2, sebuah adapter SXM2-to-PCIe, dan melakukan modulasi PWM untuk kipasnya yang sangat bising. Total biaya yang dikeluarkan hanya sekitar £200 atau setara dengan Rp 4,4 juta.
GPU Tesla V100 SXM2 saat ini memang dijual dengan harga murah. Di eBay AS, kartu grafis ini bisa ditemukan dengan harga di bawah $140 atau sekitar Rp 2,3 juta, terutama jika pembeli tidak keberatan membeli dari China.
Namun, perlu diketahui bahwa GPU ini tidak bisa langsung dicolokkan ke PC. Molnar menghabiskan sekitar $66 atau sekitar Rp 1,1 juta untuk membeli adapter SXM2-to-PCIe dari eBay. Dengan kombinasi ini, sistem yang dimilikinya kini memiliki total VRAM 32GB, terdiri dari RTX 4080 (16GB VRAM, arsitektur Ada) dan Tesla V100 (16GB VRAM, arsitektur Volta).
Tantangan terbesar dalam proyek ini adalah kebisingan. Kipas bawaan Tesla V100 SXM2 disebut sangat berisik, dengan tingkat kebisingan mencapai 82dB. Molnar menggambarkannya sebagai suara yang berada di antara “pembuangan sampah dan mesin pemotong rumput”.
Untuk mengatasi masalah ini, Molnar melakukan modifikasi dengan merutekan ulang kabel kipas dan menghubungkannya ke header PWM motherboard. Alternatifnya, pengguna bisa membeli “kabel jumper 2.54mm male to PH2.0 female”. Hasilnya, kipas hanya perlu berjalan pada 10% untuk menjaga suhu Tesla V100 tetap di bawah 50 derajat Celcius saat beban penuh.
Setelah semua perangkat keras terpasang dan disempurnakan, sistem 32GB VRAM ini mampu menjalankan model LLM dengan 27 miliar parameter pada kecepatan 32 token per detik. Menurut Molnar, kecepatan ini “cukup cepat untuk penggunaan interaktif” dan lebih cepat dari sebagian besar alternatif cloud API.
Untuk membuat sistem memanfaatkan total 32GB VRAM, Molnar menggunakan NixOS dengan driver Nvidia lawas yang mendukung arsitektur Volta dan Ada secara bersamaan. Kombinasi GPU yang berbeda arsitektur ini tidak menjadi masalah berkat driver yang tepat.
Proyek modifikasi GPU enterprise untuk keperluan AI ini menunjukkan bahwa penggemar dengan anggaran terbatas tetap bisa menikmati performa LLM lokal yang mumpuni. Dengan harga yang sangat terjangkau, Tesla V100 bekas menjadi pilihan menarik untuk menambah kapasitas VRAM.
Molnar mencatat bahwa Tesla V100 dengan VRAM 32GB juga tersedia, namun harganya dua kali lipat lebih mahal. Oleh karena itu, opsi membeli dua kartu Tesla V100 16GB atau menggabungkannya dengan GPU konsumen menjadi solusi yang lebih ekonomis.
Bagi pengguna yang tertarik melakukan modifikasi serupa, perlu diingat bahwa proyek ini membutuhkan pengetahuan teknis yang memadai. Mulai dari pemilihan adapter yang tepat hingga modifikasi kipas, semuanya memerlukan ketelitian dan pemahaman tentang perangkat keras PC.
Penggunaan GPU enterprise bekas untuk keperluan AI lokal menjadi tren yang menarik di kalangan enthusiast. Dengan harga yang terus turun, GPU seperti Tesla V100 menawarkan kapasitas VRAM besar yang sangat dibutuhkan untuk menjalankan model bahasa besar.
Meskipun Tesla V100 menggunakan arsitektur Volta yang sudah cukup tua, performanya untuk inferensi LLM masih sangat kompetitif. Ditambah dengan harga yang murah, GPU ini menjadi pilihan menarik bagi mereka yang ingin bereksperimen dengan AI lokal tanpa harus mengeluarkan biaya besar.
Proyek Molnar membuktikan bahwa dengan kreativitas dan sedikit usaha, penggemar komputasi bisa mendapatkan performa AI yang mumpuni dengan biaya yang terjangkau. Modifikasi sederhana pada sistem pendingin dan penggunaan adapter yang tepat menjadi kunci keberhasilan proyek ini.
Bagi yang tertarik mengikuti jejak Molnar, penting untuk mempertimbangkan faktor kebisingan dan konsumsi daya. Meskipun kipas bisa diatur pada kecepatan rendah, GPU enterprise biasanya memiliki konsumsi daya yang lebih tinggi dibandingkan GPU konsumen.
Selain itu, kompatibilitas driver juga menjadi pertimbangan penting. Molnar menggunakan NixOS dengan driver lawas untuk menggabungkan GPU dengan arsitektur berbeda. Pengguna Windows mungkin akan menghadapi tantangan lebih besar dalam hal ini.
Meskipun demikian, hasil yang didapatkan sangat memuaskan. Dengan modal kurang dari Rp 5 juta, pengguna bisa menikmati performa LLM lokal yang mampu bersaing dengan layanan cloud. Ini menjadi solusi ideal bagi mereka yang membutuhkan privasi data dan kecepatan respons yang konsisten.
Proyek modifikasi ini juga menunjukkan potensi besar dari GPU enterprise bekas yang sering dianggap usang. Dengan sedikit modifikasi, GPU ini bisa mendapatkan kehidupan kedua yang sangat berguna di era AI saat ini.
Bagi para penggemar teknologi yang ingin mencoba, penting untuk melakukan riset mendalam tentang kompatibilitas perangkat keras dan perangkat lunak. Setiap sistem memiliki tantangan unik yang perlu diatasi.
Kesimpulannya, proyek Oscar Molnar menjadi inspirasi bagi banyak orang untuk memanfaatkan perangkat keras bekas dengan cara yang kreatif. Dengan biaya terjangkau, performa AI lokal yang mumpuni kini bisa dinikmati oleh lebih banyak orang.
GPU Tesla V100 yang digunakan dalam proyek ini menunjukkan bahwa perangkat keras enterprise bekas masih memiliki nilai tinggi untuk aplikasi modern. Dengan harga yang terus turun, GPU ini menjadi pilihan menarik bagi para penggemar AI dengan anggaran terbatas.
Komentar
Belum ada komentar.