Telset.id – Seorang pengacara di Columbia, South Carolina, Nick Mermiges, kembali memperbarui server AI privatnya yang dibangun di atas delapan GPU Nvidia V100 bekas. Pembaruan terbaru memindahkan sekitar 80% beban kerja dari presisi 2-bit ke 4-bit NVFP4, menambah kapasitas RAM menjadi 1TB, dan memasukkan RTX 3090 ke dalam sistem. Server ini menjalankan DeepSeek V4.1 Flash dengan legal harness untuk praktik hukumnya.
Pembaruan tersebut diberi nama “Volta Max uPLIft”, kelanjutan dari build “Volta sPLIt” yang sebelumnya diliput. Huruf PLI merujuk pada inisial perusahaannya, Proprietary Legal Intelligence. Mermiges adalah pengacara litigasi yang juga mendirikan PLI Labs dan proprietarylegal.ai. Perusahaannya, PLI, merupakan konsultan teknologi, bukan firma hukum, dan kini menawarkan layanan private, on-prem LLM serving.
Perubahan presisi ini menuntut harga: performa. Output kode turun dari 160–215 menjadi 150–180 token per detik. Meski lebih lambat, masalah crash yang melanda build baru sebelumnya kini hilang. Penyebab crash yang semula dituding PCIe ternyata kemungkinan besar berasal dari satu PSU yang bermasalah.
Detail Teknis dan Konfigurasi Server
DeepSeek V4.1 Flash dibangun dari “experts”, bagian model yang mengerjakan sebagian besar beban untuk setiap kata. Model ini memiliki 384 routed experts di masing-masing dari 40 layer, totalnya 15.360 expert. Pada presisi resmi, kebutuhan memori mencapai sekitar 269 GiB menurut estimasinya, sementara delapan V100 32GB hanya menyediakan 256 GiB sebelum komponen lain dimuat. Build 2-bit sebelumnya menempatkan bobot di 248,8GB, sedangkan paket Hugging Face untuk build baru sekitar 556GB.
Solusinya adalah menyimpan setiap expert di kartu pada presisi 2-bit, lalu menaikkan expert yang paling sering digunakan hingga kartu penuh. Hasilnya sekitar 38,7% atau 5.949 expert berada tepat di NVFP4. “Most-used” di sini merujuk pada hitungan dari campuran empat jenis teks yang dibobot setara, salah satunya adalah lalu lintas legal harness miliknya sendiri.
NVFP4 adalah format floating-point 4-bit milik Nvidia, dan Nvidia menerbitkan versi NVFP4 dari DeepSeek V4.1 Flash. README proyek menyebut versi tersebut cocok dengan presisi bobot resmi model pada 4,25 bit per bobot. Mermiges menyebut build-nya mencapai “near-NVFP4 precision”, dan sebelumnya mendeskripsikan NVFP4 di forum sebagai “essentially full precision”.
Pembangunan sisi software dikerjakan dengan bantuan AI, khususnya Claude Code, yang menulis kernel dan menjalankan benchmark sesuai arahannya. Model Opus 5.5 dan Fable 5.2 menangani optimasi, kernel kustom, serta re-kuantisasi. Ia mengaku terkejut betapa baik Fable membangun kernel Volta kustom dan melakukan re-kuantisasi pada expert yang dipicu legal harness-nya. Dari sekitar Februari hingga Juli, ia membangun legal harness di sekitar Claude yang berhasil, sementara upaya versi model lokal gagal, sampai DeepSeek V4.1 Flash hadir dan berhasil diporting, meski ia menyebut hasilnya belum sebaik model frontier.
Baca Juga:
Fidelitas Naik, Performa Turun
Mermiges menegaskan bahwa “dokumen tidak pernah meninggalkan kantor”. Sistem ditingkatkan dari 256GB ke 1TB RAM dan ditambah GPU yang lebih baru, meski V100 tetap berada di “borrowed time” bersama R580, cabang driver Nvidia terakhir yang mendukungnya. Tujuan proyek yang disebut sebelumnya adalah agar sistem mampu mengoffload lebih banyak beban kerjanya, sehingga perubahan presisi ini menjadi peningkatan yang wajar. Target lamanya agar sistem menangani lebih dari satu permintaan sekaligus juga tercapai.
Dengan pengujian satu permintaan pada satu waktu, antara 80% dan 86% decode routes, yaitu panggilan ke expert saat model menulis, mendarat di expert NVFP4. Angka terendah untuk teks umum dan tertinggi untuk source code. Prediksi untuk setup dua permintaan yang ia jalankan adalah 78% hingga 85%. Sisanya, 15% hingga 22% panggilan, tetap menuju expert 2-bit.
Diukur terhadap versi model milik Nvidia sebagai referensi, hasilnya membaik. Same next token, atau seberapa sering sebuah build memilih token berikutnya yang sama dengan referensi, naik menjadi 95,1% dari 92,2%. Untuk KL divergence, yang mengukur seberapa jauh probabilitas sebuah build dari referensi, turun menjadi 0,079 nats dari 0,196. Pada pengukuran jawaban pilihan ganda yang berubah, dari 513 pertanyaan tes pengetahuan pilihan ganda standar, angkanya turun dari 79 berbeda menjadi hanya 8. Ini tidak mengukur akurasi, yang kurang lebih sama di ketiga kasus, melainkan fidelitas. Pengujian tersebut berjalan pada rilis pertama build, bukan pada setup dua permintaan yang kini ia jalankan.
Hasil akhirnya adalah fidelitas lebih tinggi dengan performa lebih rendah. Output kode 3% hingga 30% lebih lambat tergantung panjang prompt, dan tulisan hukum 9% hingga 23% lebih lambat. Sebelum build, ia berharap mempertahankan sekitar 80 token per detik untuk legal dan prosa; hasil benchmark berada di 86 hingga 106 untuk legal dan 78 hingga 86 untuk prosa. Sisi positifnya, menjalankan dua permintaan sekaligus menaikkan total output menjadi 159,0 token per detik, dibandingkan 118,9 dengan satu permintaan. Token pertama juga tiba lebih cepat di setiap panjang prompt, 108,4 detik versus 118,7 detik pada 256K token.
Setiap permintaan membutuhkan “slot”, dan ini menimbulkan biaya. Setiap slot menyimpan state-nya sendiri di kartu, sehingga menyisakan ruang untuk lebih sedikit expert NVFP4: 6.215, 5.949, dan 5.663 untuk satu, dua, dan tiga slot. Artinya setiap slot tambahan dapat mendorong satu hingga dua poin panggilan kembali ke 2-bit, yang berpotensi menurunkan kualitas output.
Peningkatan RAM datang pekan ini dengan delapan modul 128GB pada 2.933 MT/s, sebelumnya delapan modul 32GB yang harus dijalankan pada DDR4-2666 akibat error ECC. Setelah upgrade RAM, host melaporkan dua NUMA node, dan dua boot macet pada transfer pertama antar-board, sehingga ia menyusun ulang kartu di software. GPU tetap dibatasi pada 1.522 MHz seperti sebelumnya.
Soal PSU, ia menempuh pendekatan umum dengan memburu slot PCIe, kartu, dan kabel untuk mempersempit penyebab, hingga akhirnya menyimpulkan “probably one bad PSU”. Ia juga menambah kipas, tetapi tanpa perubahan suhu, yang hanya menunjukkan bahwa aliran udara bukan masalahnya. Ia mengubah power delivery, dan sembilan dari sembilan obrolan panjang terbaca bersih setelahnya. Untuk manajemen kabel, ia menyebut “advice [there] is welcome and will be ignored”.
Ia juga sudah memiliki dua DGX Spark yang menjalankan model yang sama pada konteks 1M untuk pekerjaan agent, dengan tiga atau empat sesi sekaligus, dan ia tidak berhenti di situ. Sekarang fokusnya adalah scaling. Delapan V100 lagi dan server kedua dengan 512GB RAM ECC 3.200 MT/s menunggu di belakang. Kotak kedua akan menjalankan DeepSeek presisi tinggi lainnya, digunakan sebagai agent tambahan atau untuk menjalankan tugas secara paralel. Rencananya juga memindahkan model draft kecil DeepSeek dari V100 ke RTX 3090, yang belum dilakukan.
Langkah Mermiges menunjukkan bahwa server AI on-prem dengan GPU bekas masih bisa diarahkan untuk kebutuhan spesifik seperti praktik hukum, dengan trade-off performa yang terukur. Bagi yang mengikuti tren AI pasar hukum, eksperimen ini memberi gambaran nyata soal batas antara presisi, kecepatan, dan kapasitas perangkat keras generasi lama.
Komentar
Belum ada komentar.