Telset.id – Seorang pembangun homelab berhasil membuktikan bahwa tiga GPU bekas Nvidia V100-16GB yang dirakit dengan biaya sekitar $1.042 atau setara Rp17 juta mampu menjalankan model bahasa besar (LLM) Qwen 3.6 35B dengan kecepatan hingga 100,8 token per detik. Hasil ini dipublikasikan dalam tulisan berjudul “Scaling ‘E-Waste’: LLMs on Multiple Decommissioned GPUs” dan menunjukkan bahwa perangkat keras yang dikategorikan sebagai limbah elektronik masih kompetitif melawan perangkat modern serta API inferensi komersial.
Pengujian ini merupakan kelanjutan dari putaran Juli yang menguji 15 GPU “e-waste”. Pada pengujian terbaru, papan dan CPU dibuat identik untuk setiap konfigurasi, yakni Supermicro X10DRG-Q dengan dua CPU Intel Xeon E5-2687W 12-core, disokong PSU Corsair HX1500i. Sembilan konfigurasi diuji, mulai dari satu hingga tiga kartu K80, P100, atau V100-16GB, menggunakan llama.cpp dengan lebih dari 130 tes LLM yang mencakup Qwen 2.5, Gemma 4, dan Qwen 3.6 pada presisi Q4/Q8/F16 serta ukuran konteks 4K hingga 128K.

Patokan performa yang dipakai adalah 70 token per detik, angka yang dianggap mewakili “realtime interaction”. Jumlah tiga GPU dipilih karena Qwen 3.6 35B gagal berjalan pada satu atau dua kartu di presisi Q8 atau kuantisasi 8-bit. Model tersebut merupakan model mixture-of-experts (MoE) yang hanya mengaktifkan sekitar 3 miliar dari total 35 miliar parameternya per token.
Performa Qwen 3.6 35B di Berbagai Konteks
Pada konfigurasi tiga V100 dengan Q8, target token tercapai saat konteks masih kecil. Kecepatan 100,8 token per detik di konteks 4K turun menjadi 89,4 di 32K, 83,5 di 64K, dan 72,7 di 128K—masih di atas ambang 70 token per detik. Sementara itu, model dense Qwen 3.6 27B yang bukan MoE tampil jauh lebih lambat di platform yang sama, yakni 24,3 token per detik di 4K, 21,6 di 32K, 18,7 di 64K, dan hanya 14,2 di 128K. Model MoE tercatat sekitar empat hingga lima kali lebih cepat tergantung ukuran konteks.

Model dense lain berukuran sekitar 30 miliar parameter juga diuji. Pada konteks 4K, Gemma 4 31B mencapai 20,9 token per detik dan Qwen 2.5 32B mencapai 21,0. Adapun Gemma 4 26B yang merupakan MoE melewati batas 70 token per detik hanya dengan dua V100 di Q8. Jika diturunkan ke Q4 atau kuantisasi 4-bit, dua V100 dapat menjalankan Qwen 3.6 35B pada 77,1 hingga 105,4 token per detik antara konteks 128K dan 4K.
Dari sisi konsumsi daya, tiga P100 hanya mencapai 40,2 hingga 55,2 token per detik pada rentang konteks yang sama dengan Qwen 3.6 35B di Q8, dan baru menyentuh target 70 saat menjalankan Qwen 2.5 3B. Untuk satu kali proses 128K pada model 35B, setup V100 mengonsumsi sekitar 0,02 kWh, sedangkan P100 membutuhkan dua kali lipatnya dan dua atau tiga K80 bisa mencapai 0,35 hingga 0,45 kWh. Kesimpulan pembangunnya, V100-16GB “memberikan skor lebih baik sekaligus mengonsumsi energi lebih rendah” dibandingkan P100. Angka daya ini diukur untuk GPU, bukan dari dinding.
Baca Juga:
Perbandingan dengan Perangkat Modern
Terhadap perangkat modern, rakitan tiga V100 masih bisa bersaing. Nvidia DGX Spark dengan MSRP $4.700 hanya mencatat 45,8 token per detik dari benchmark dgx-spark-bench milik Kleybrink yang menggunakan Ollama dalam thinking mode dengan prompt pendek—kurang dari separuh angka 4K milik V100. Mac Studio M5 Max yang diuji dengan GPU 40-core, memori 128GB, dan SSD 1TB seharga $5.399, berdasarkan halaman benchmark oMLX, mencatat 43,9 token per detik dengan prompt sekitar 195K token pada model Qwen 3.6 35B. Mac sedikit unggul di 4K dan 32K, tetapi V100 menyalip di 64K dan 128K dengan selisih 19% pada konteks terpanjang. Angka-angka ini perlu dibaca longgar karena kedua mesin memakai runtime berbeda.

Sementara itu, GPU modern “menghancurkan ekuivalen bekas kami”, begitu ungkapan pembangunnya. Dua H100 mencatat sekitar 315 token per detik dan satu B200 sekitar 455 token per detik pada konteks 128K, dengan B200 kira-kira enam kali lipat rakitan V100 meski kartu hosted tersebut menjalankan model penuh 16-bit versus 8-bit di V100. Perbandingan ini disponsori Parasail, penyedia inferensi, dengan deployment H100 dan B200 khusus.
Dari sisi biaya, harga yang dicatat pembangun tidak sepenuhnya mencerminkan harga di eBay saat ini dan hanya menghitung satu dari dua CPU serta mengabaikan RAM, storage, casing, dan pendinginan. Untuk tiga GPU, K80 dihargai $270 ($90 per unit), P100 $403,50 ($134,50 per unit), dan V100-16GB $655,16. Ditambah board $211, PSU $147,70, dan satu CPU $28,20, total rakitan masing-masing menjadi $657, $790, dan $1.042—atau $685, $819, dan $1.070 bila CPU kedua dihitung.
Kartu-kartu lama tersebut relatif murah karena “berjalan panas dan dikirim tanpa pendingin”, sehingga pembangun harus mencetak 3D satu saluran blower per kartu dan mengembangkan cooler mandiri. Metode bench-nya melibatkan 10 kali pengujian dengan 512 token yang dihasilkan per tes, sementara konteks diisi terlebih dahulu ke 4K, 32K, 64K, atau 128K.
Pembangun mengaku “sehari-hari menjalankan Qwen 3.6 35B” di V100 dan mencatat bahwa melakukan scaling pada GPU bekas hanya akan membawa sejauh tertentu. Menambah kartu memberi lebih banyak memori yang memungkinkan model lebih besar dijalankan, tetapi tidak menambah kecepatan. Ia juga berencana membuat benchmark yang “memetakan performa ‘software factory'”, istilah untuk model yang diprompt terus-menerus sepanjang waktu di mana kecepatan instan tidak terlalu penting. Selain itu, ada rencana membandingkan backend inferensi dan memakai speculative decoding untuk meningkatkan performa, sementara cooler-nya “hampir siap dirilis” dengan beta tester yang akan direkrut dari mailing list tanpa tanggal pasti.
Bagi penggemar perangkat keras yang memantau tren komputasi lokal, eksperimen ini menunjukkan bahwa GPU enterprise bekas masih layak dipertimbangkan sebagai basis inferensi hemat biaya. Informasi seputar inovasi perangkat dan tren teknologi lain bisa disimak melalui Xiaomi 18 Pro serta Game RPG Telkomsel yang turut mewarnai lanskap teknologi tahun ini.





Komentar
Belum ada komentar.