Telset.id – Seorang developer berhasil menjalankan model bahasa besar (LLM) dengan 28,9 juta parameter secara penuh offline di dalam chip ESP32-S3, sebuah mikrokontroler murah yang biasanya digunakan untuk sensor nodes dan smart plugs. Proyek bernama esp32-ai ini mampu menghasilkan teks bergaya TinyStories dengan kecepatan 9,88 token per detik, tanpa data apa pun yang meninggalkan chip tersebut.
Proyek yang diunggah ke GitHub di bawah lisensi MIT pada akhir Juli 2026 ini telah mengumpulkan lebih dari 3.600 bintang dan lebih dari 470 fork. Keberhasilan ini menarik perhatian karena ESP32-S3 hanya memiliki RAM 512 KB dan PSRAM 8 MB, jauh di bawah kebutuhan standar untuk menjalankan model AI. Pencapaian ini menjadi sorotan utama di kalangan pengembang perangkat keras dan penggemar AI embedded.
Model yang dilatih pada dataset TinyStories milik Microsoft Research ini harus diskalakan secara drastis karena keterbatasan hardware yang mendasarinya. Tantangan utamanya terletak pada aritmetika yang “brutal”: bobot (weights) biasanya membutuhkan satu hingga empat byte per parameter hanya untuk berada di memori. Dengan 28,9 juta parameter pada presisi 16-bit, model ini memerlukan hampir 60 MB RAM — sebuah angka yang mustahil untuk chip sekelas ESP32-S3.
Kunci Sukses: Kuantisasi dan Per-Layer Embeddings
Langkah pertama untuk mengatasi keterbatasan memori adalah kuantisasi. Dengan menurunkan presisi bobot menjadi empat-bit, developer berhasil mengurangi kebutuhan memori hingga 75 persen, dari 60 MB menjadi 14,9 MB. Meskipun ada sedikit penurunan akurasi, pengorbanan ini dianggap sepadan untuk membuat model bisa berjalan di perangkat sekecil itu.
Langkah kedua adalah bagian yang paling menarik perhatian: sebagian besar parameter model bahasa berada di tabel embedding yang dibaca model daripada dihitung. Karena data yang hanya dibaca bisa disimpan di media yang lebih lambat, developer meminjam konsep Per-Layer Embeddings (PLE) dari Google Gemma 3n. Sekitar 25 juta parameter (kira-kira 12 MB pada presisi empat-bit) dipindahkan ke flash 16 MB di board, dengan hanya menarik sekitar 6 baris atau sekitar 450 byte per token.
Hasilnya, yang tersisa di memori kerja hanya sekitar 2 MB: inti padat (dense core) dan kepala output (output head) di PSRAM, serta aktivasi dan bobot normalisasi di SRAM. Setiap tingkatan memori menyimpan data yang dibaca sesuai frekuensinya masing-masing, dan hierarki memori chip inilah yang menjadi arsitektur yang memungkinkan LLM berjalan di perangkat sekecil ini.
Teknik memindahkan bobot ke penyimpanan sebenarnya bukan hal baru — ini adalah cara yang biasa digunakan untuk memaksa model kelas frontier berjalan di hardware yang seharusnya tidak mampu. Namun, pendekatan ini biasanya menghancurkan throughput, mengubah token per detik menjadi detik atau bahkan menit per token. Pendekatan PLE menghindari masalah ini karena bobot yang dipindahkan diakses secara jarang, sehingga bandwidth flash tidak pernah menjadi hambatan.
Kinerja yang dihasilkan, 9,88 token per detik, sebenarnya lebih cepat daripada kecepatan membaca kebanyakan orang. Ini adalah angka yang mengesankan untuk perangkat dengan harga sekitar Rp 160 ribuan (sekitar $10) dan daya yang sangat rendah.
Keterbatasan Model dan Prospek ke Depan
Meskipun pencapaian teknis ini mengesankan, LLM yang dihasilkan memiliki keterbatasan yang signifikan. Model ini hanya mampu menulis cerita pendek yang sebagian besar koheren, dan tidak bisa menjawab pertanyaan, mengikuti instruksi, menulis kode, atau mengetahui fakta. Developer menjelaskan bahwa keterbatasan ini berasal dari bagian kecil model yang melakukan penalaran (sekitar 4 juta parameter), dan trik memori tidak mengubah kapabilitas dasarnya.
Repository pengembang juga menyertakan model kedua bernama Barista, yang secara khusus hanya menjawab pertanyaan seputar espresso — sesuai dengan nama yang disematkan. Ini menunjukkan bahwa pendekatan ini bisa disesuaikan untuk berbagai kasus penggunaan yang sangat spesifik.
Pendekatan ini tidak membuat model kecil menjadi lebih pintar, tetapi memungkinkan model untuk memindahkan data dalam board ke chip yang sebelumnya tidak bisa menjalankannya. Ini menjadikannya pilihan yang menarik, meskipun dengan kegunaan praktis yang terbatas dalam iterasi saat ini. Proyek ini membuka jalan bagi pengembangan AI di perangkat edge dengan biaya sangat rendah, dan bisa menjadi fondasi untuk inovasi di bidang AI open source di masa depan.
Dengan lebih dari 3.600 bintang di GitHub, komunitas pengembang jelas tertarik dengan pendekatan ini. Proyek ini juga telah ditampilkan di kanal YouTube Better Stack, menambah kredibilitas dan visibilitasnya di kalangan developer. Bagi mereka yang ingin bereksperimen dengan AI di perangkat keras murah, proyek esp32-ai menawarkan titik awal yang solid, meskipun pengguna harus siap dengan keterbatasan kapabilitas model yang dihasilkan.
Keberhasilan ini juga menunjukkan bahwa inovasi AI tidak selalu harus datang dari model raksasa dengan miliaran parameter. Terkadang, keterbatasan hardware justru memicu kreativitas dalam mengoptimalkan arsitektur dan teknik kompresi. Pendekatan PLE yang dipinjam dari Google Gemma 3n ini bisa menjadi blueprint bagi pengembangan AI di perangkat dengan sumber daya terbatas di masa mendatang.
Bagi industri teknologi, proyek ini menegaskan bahwa AI bisa berjalan di mana saja, bahkan di perangkat yang harganya kurang dari $10. Ini membuka peluang untuk aplikasi AI di perangkat IoT, wearable, dan berbagai perangkat edge lainnya yang selama ini dianggap mustahil untuk menjalankan model bahasa.
Komentar
Belum ada komentar.