Insinyur Italia Jalankan Model AI 744 Miliar Parameter di PC Biasa

Telset.id – Seorang insinyur asal Italia, Vincenzo (dikenal dengan nama JustVugg), berhasil menjalankan model kecerdasan buatan (AI) raksasa dengan 744 miliar parameter pada komputer rumahan berspesifikasi standar. Keberhasilan ini membuka peluang baru bagi pengguna yang ingin menjalankan AI lokal tanpa harus mengeluarkan biaya besar untuk perangkat keras kelas数据中心.

Vincenzo menciptakan perangkat lunak bernama Colibrì yang mampu mengeksekusi model GLM-5.2 dengan kapasitas 1,5 TB. Yang mengejutkan, ia melakukannya hanya dengan mengandalkan prosesor (CPU) biasa, memori RAM sebesar 25 GB, dan drive NVMe virtual dengan kecepatan 1 GB/s. Prestasi ini menjadi sorotan di tengah tren peningkatan biaya langganan layanan AI dan kekhawatiran akan privasi data pengguna.

Colibrì memanfaatkan arsitektur Mixture-of-Experts (MoE) dari model GLM-5.2. Dalam arsitektur ini, model memiliki ratusan “sub-model ahli” yang masing-masing menangani topik berbeda. Saat pengguna mengajukan pertanyaan, sistem akan memilih ahli yang paling relevan untuk setiap token (potongan kata), bukan untuk setiap pertanyaan secara utuh. Metode ini memungkinkan model besar berjalan di perangkat dengan sumber daya terbatas.

Namun, ada konsekuensi besar pada kecepatan. Pada konfigurasi yang digunakan Vincenzo, Colibrì hanya mampu menghasilkan sekitar 0,05 hingga 0,1 token per detik. Sebagai perbandingan, percakapan AI real-time membutuhkan kecepatan 20-30 token per detik. Artinya, satu pertanyaan sederhana bisa memakan waktu berjam-jam untuk mendapatkan jawaban. Meskipun demikian, kualitas jawaban yang dihasilkan dinilai sangat baik, setara dengan model frontier dari pengembang besar seperti Anthropic dan OpenAI.

Cara kerja Colibrì cukup sederhana namun sulit dieksekusi dengan sempurna: model dimuat ke dalam memori secara bertahap (slicing). Untuk menghemat ruang, model GLM-5.2 juga telah mengalami kuantisasi, yaitu proses penyederhanaan data dengan encoding lossy agar ukurannya lebih kecil. Proses memuat dan membongkar data untuk setiap token inilah yang menjadi penyebab utama kelambatan.

Kinerja Colibrì sangat bergantung pada kecepatan I/O penyimpanan NVMe. Semakin cepat NVMe, semakin besar tekanan pada batasan RAM. Setelah RAM mencukupi, tantangan berikutnya adalah jumlah inti CPU yang tersedia. Dalam pengaturan saat ini, Colibrì belum mendukung eksekusi di GPU. Jika nantinya diadaptasi untuk GPU, proses memindahkan data bolak-balik ke kartu grafis justru diprediksi akan menjadi hambatan terbesar.

Saat ini, Colibrì masih dalam tahap proof-of-concept. Proyek ini baru saja dirilis dan telah menarik perhatian banyak pengguna. Vincenzo secara aktif mengumpulkan data tolok ukur dan memperbaiki kode. Ia mengundang kontributor untuk mengunjungi repositori proyek dan membantu pengembangan lebih lanjut. Dengan optimasi yang berkelanjutan, bukan tidak mungkin di masa depan model AI cerdas dapat berjalan di perangkat keras konsumen kelas atas dengan kecepatan yang memadai.