Telset.id – Google baru saja memperbarui sistem pengukuran yang digunakan untuk menilai kemampuan model AI dalam menulis kode aplikasi Android. Perubahan ini langsung berdampak pada peringkat di papan utama Android Bench yang menjadi acuan para pengembang.
Papan peringkat Android Bench yang diluncurkan pada Maret lalu kini berjalan di atas sistem pengujian baru bernama Harbor. Google menyatakan sistem ini menggantikan alat pengujian generik lama dan memberikan gambaran yang lebih akurat tentang performa model pada tugas-tugas Android nyata, seperti memperbarui kode lama ke Jetpack Compose atau menangani jaringan perangkat wearable.
Dengan adanya perubahan alat pengujian, Google menjalankan ulang setiap model melalui sistem baru tersebut. Hasilnya, delapan model baru masuk ke papan peringkat, termasuk Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, dan Qwen 3.7 Max.
Peringkat terbaru Android Bench menunjukkan Claude Fable 5 berada di puncak dengan skor 84,5 persen, disusul GPT 5.5 di angka 80,2 persen, dan Claude Sonnet 5 dengan 76,2 persen. Di antara model open-weight gratis, GLM 5.2 memimpin dengan 72,2 persen, unggul dari Kimi K2.7 Code yang meraih 70,4 persen. Sementara itu, Gemini 3.1 Pro milik Google sendiri menempati posisi kelima dengan skor 73,7 persen.
Bagi pengembang yang menggunakan Android Bench untuk memilih model AI terbaik bagi pekerjaan coding, Google menyarankan untuk langsung mengunjungi situs web Android Bench dan mengecek papan peringkat yang telah diperbarui. Perubahan ini penting karena metrik baru memberikan hasil yang lebih relevan dengan kebutuhan pengembangan aplikasi Android sehari-hari.
Baca Juga:
Pengembang Kini Bisa Kirim Tugas Sendiri
Saat meluncurkan Android Bench pada Maret lalu, Google sudah mempublikasikan metodologi pengujian dan test harness di GitHub untuk transparansi. Kini, langkah terbuka itu diperluas dengan mengizinkan pengembang untuk berkontribusi langsung dengan mengirimkan tugas pengembangan Android mereka sendiri ke dalam benchmark.
Para pengembang juga bisa menjalankan sendiri tes tersebut menggunakan model pilihan mereka dan membagikan hasilnya kepada komunitas. Langkah ini memungkinkan evaluasi yang lebih spesifik sesuai kebutuhan proyek masing-masing, tanpa harus bergantung sepenuhnya pada hasil pengujian default dari Google.
Peringkat di Android Bench diperkirakan akan terus berubah seiring munculnya model-model baru, seperti GPT-5.6 Sol, Terra, dan Luna yang baru dirilis OpenAI. Google sendiri menekankan bahwa papan peringkat saat ini hanyalah potret sementara, bukan peringkat permanen.
Bagi pengembang yang sedang memilih alat AI untuk coding Android, disarankan untuk mengecek ulang papan peringkat sebelum memutuskan menggunakan model tertentu untuk proyek berikutnya. Sifat dinamis dari benchmark ini membuat keputusan harus selalu didasarkan pada data terbaru.
Perubahan metrik oleh Google ini menunjukkan komitmen perusahaan untuk terus menyempurnakan cara evaluasi model AI, terutama dalam konteks pengembangan aplikasi Android yang sangat spesifik. Dengan sistem Harbor, hasil pengujian diharapkan lebih mencerminkan tantangan nyata yang dihadapi pengembang setiap hari.
Selain itu, keterbukaan Google dalam menerima kontribusi tugas dari pengembang juga memperkuat ekosistem Android Bench sebagai alat bantu yang relevan dan terus berkembang. Hal ini sejalan dengan upaya Google dalam mengembangkan teknologi AI yang lebih transparan dan dapat diandalkan, seperti yang terlihat pada kebijakan privasi dan label konten buatan AI.
Bagi pengembang yang ingin memanfaatkan fitur terbaru dari Android, perubahan peringkat ini bisa menjadi acuan penting. Memilih model dengan skor tertinggi di Android Bench tidak menjamin hasil sempurna, tetapi setidaknya memberikan gambaran awal yang lebih akurat tentang kemampuan model dalam menangani tugas-tugas spesifik Android.
Google juga mengingatkan bahwa pengembang perlu mempertimbangkan faktor lain seperti biaya, kecepatan, dan kompatibilitas dengan proyek yang sedang dikerjakan. Peringkat di Android Bench hanyalah salah satu dari banyak faktor yang perlu dipertimbangkan dalam memilih alat AI yang tepat.
Dengan adanya sistem pengujian baru ini, Google berharap dapat mendorong pengembang untuk lebih aktif dalam mengevaluasi dan membandingkan berbagai model AI, sehingga kualitas kode aplikasi Android secara keseluruhan dapat meningkat. Langkah ini juga membuka peluang bagi model-model baru untuk bersaing dan menunjukkan kemampuan terbaiknya di panggung yang lebih adil.
Ke depannya, Google kemungkinan akan terus memperbarui Android Bench dengan model-model baru dan tugas-tugas pengujian yang lebih beragam. Pengembang disarankan untuk selalu memantau situs web Android Bench agar tidak ketinggalan informasi terbaru yang dapat mempengaruhi keputusan dalam memilih alat bantu coding mereka.
Komentar
Belum ada komentar.