Telset.id – Pathway, laboratorium AI yang fokus membangun arsitektur Post-Transformer, merilis hasil benchmark terbaru untuk model penalaran BDH-CQ. Model dengan 150M parameter ini mencetak skor 29.5% pass@2 pada set evaluasi publik ARC-AGI-1 dengan biaya inferensi komputasi hanya $0.0007 per tugas, sekitar sebelas kali lebih murah dibandingkan model GPT 5.6 Luna (Low) milik OpenAI.
Hasil ini menjadi sorotan karena menunjukkan bahwa efisiensi biaya dalam AI tidak selalu harus dikorbankan demi performa. Banyak sistem AI saat ini membuang daya komputasi karena cara mereka dirancang, bukan karena penalaran mendalam memang menuntutnya. Zuzanna Stamirowska, CEO dan co-founder Pathway, menegaskan bahwa biaya token yang mahal untuk penalaran bukanlah hukum alam, melainkan pilihan arsitektur.
“AI saat ini membayar biaya token yang mahal untuk penalaran, tetapi biaya itu dipaksakan oleh arsitektur, bukan oleh hukum kecerdasan apa pun,” ujar Stamirowska. “Kami menunjukkan bahwa arsitektur yang berbeda mengubah permainan dan membuka ruang baru dalam hal kecerdasan per dolar.”
Amazon Web Services (AWS) menilai hasil BDH-CQ sebagai langkah menjanjikan menuju penggunaan penalaran AI tingkat lanjut dalam produk nyata dengan harga lebih terjangkau. Nicolas Tarducci dari AWS menyebut bahwa pelanggan semakin mengeksplorasi cara memindahkan penalaran canggih dari eksperimen ke produksi, di mana performa, efisiensi, dan skalabilitas sama-sama penting.
Perbandingan Biaya dan Performa di Benchmark ARC-AGI-1
ARC-AGI-1 adalah benchmark penalaran yang banyak digunakan untuk sistem AI. Benchmark ini menguji apakah sebuah sistem dapat menyimpulkan aturan mendasar dari contoh terbatas dan menerapkannya dengan benar pada input baru. Dalam pengujian ini, model Luna milik OpenAI mencetak skor sedikit lebih tinggi di angka 34.2%, namun biaya operasionalnya jauh lebih besar, yakni $0.008 per tugas.
Selisih harga tersebut sudah memperhitungkan pemotongan harga 80% yang dilakukan OpenAI pada Luna sejak 30 Juli tahun ini. Sementara itu, model-model frontier seperti Claude Opus 5 dan Gemini 3.1 Pro mencapai skor 97-98%, tetapi membutuhkan biaya sekitar $0.5 hingga $0.6 per tugas. Artinya, performa tertinggi di frontier membutuhkan biaya hampir seribu kali lebih mahal dibandingkan BDH-CQ untuk skor tertinggi.
Di sisi lain, Qwen3 235B membutuhkan biaya lebih dari tiga kali lipat dibandingkan BDH-CQ, tetapi mencetak skor lebih buruk daripada varian Low-nya. Dengan demikian, Qwen3 235B bukanlah pesaing nyata baik dari sisi harga maupun performa. Łukasz Kaiser, co-author makalah asli Transformer 2017, menilai bahwa Pathway menunjukkan arsitektur model, bukan hanya skala, dapat mendorong lompatan berikutnya dalam penalaran AI.
Mengapa Biaya BDH-CQ Jauh Lebih Rendah
Kesenjangan efisiensi ini terutama berasal dari perbedaan struktural dalam cara masing-masing sistem melakukan penalaran selama komputasi inferensi. Banyak sistem AI penalaran menghasilkan teks perantara, menambahkan satu token demi satu token sebelum menghasilkan jawaban akhir. Semakin panjang penalaran tertulis tersebut, semakin mahal biaya operasionalnya dan semakin lambat respons AI terhadap setiap permintaan.
BDH-CQ bekerja dengan cara yang berbeda. Model ini menyelesaikan masalah secara internal di dalam memorinya tanpa menuliskan semuanya sebagai teks terlihat terlebih dahulu. Pendekatan ini menghilangkan biaya token yang tidak perlu dan mempercepat waktu respons secara signifikan.
Pathway juga mengonfirmasi bahwa eksperimen awal sudah mengikuti hukum skala standar Transformer pada ukuran model dari 1B hingga 600B parameter. Perusahaan berencana memperluas pendekatan ini ke benchmark yang lebih sulit, termasuk penalaran matematis, ARC-AGI-2, dan akhirnya evaluasi ARC-AGI-3 penuh.
Jika keuntungan efisiensi ini bertahan pada tugas yang lebih besar dan lebih sulit, biaya, bukan kapabilitas mentah, bisa semakin menjadi pembeda utama antar sistem AI penalaran yang bersaing. Temuan ini relevan bagi pengembang dan perusahaan yang ingin mengadopsi AI reasoning tanpa harus mengeluarkan biaya operasional besar.
Kehadiran model seperti BDH-CQ membuka peluang baru bagi adopsi AI di berbagai industri yang selama ini terkendala biaya. Perusahaan yang sebelumnya ragu karena mahalnya biaya inferensi kini memiliki alternatif yang jauh lebih ekonomis tanpa mengorbankan terlalu banyak akurasi.
Hasil benchmark ini juga memperkuat argumen bahwa inovasi arsitektur bisa menjadi jalan alternatif selain sekadar memperbesar skala model. Dengan pendekatan yang lebih efisien, masa depan AI reasoning tidak harus selalu identik dengan biaya komputasi yang membengkak.
Komentar
Belum ada komentar.