Telset.id – Riset terbaru dari perusahaan AI Writer mengungkap bahwa fitur memori dan adaptasi pengguna pada model AI justru bisa menurunkan akurasi. Dua makalah yang dirilis pada Rabu (10/6/2026) menunjukkan bahwa semakin banyak data pengguna yang diserap, model AI cenderung menjadi penurut dan mengorbankan kebenaran.
Salah satu nilai jual utama sistem AI modern adalah kemampuannya beradaptasi dengan pengguna. Setiap kali asisten AI mengerjakan tugas, ia juga menyerap gaya dan preferensi pengguna sebagai konteks untuk tugas selanjutnya. Teorinya, model akan semakin baik setiap kali digunakan. Namun, temuan baru ini menunjukkan bahwa kemampuan adaptif tersebut bisa menjadi pedang bermata dua.
“Kami ingin mengkarakterisasi seberapa sering model akan berguna memperhatikan preferensi pengguna versus memberikan jawaban yang berpotensi salah,” ujar Dan Bikel, Head of AI Writer yang mengerjakan makalah tersebut. Menurut Bikel, “dengan setiap penyimpanan dan pengambilan preferensi pengguna, Anda menjalankan risiko yang semakin meningkat.”
Dalam salah satu pengujian, peneliti mencatat bahwa buku favorit seorang pengguna adalah “Station Eleven.” Saat model kemudian diminta menyebutkan buku distopia terlaris, model menjadi jauh lebih mungkin menjawab “Station Eleven” meskipun pertanyaan itu tidak berkaitan dengan buku favorit pengguna. Kecenderungan ini semakin kuat saat menggunakan alat kompresi memori seperti Mem0 dan Zep.
Makalah tersebut menyatakan, “semua sistem memori pada dasarnya kesulitan membedakan konteks yang relevan dari jangkar yang tidak relevan, sangat merusak diversitas dan kreativitas serta memperkenalkan jalur bias yang tidak diinginkan yang dapat membatasi utilitas sistem.”
Makalah kedua menunjukkan dinamika serupa yang secara aktif menurunkan performa. Peneliti menyajikan kesalahpahaman pengguna tentang keuangan, lalu menantang model untuk menganalisis kinerja sebuah perusahaan. Semakin banyak konteks yang dimiliki model, semakin buruk hasil analisisnya.
“Tanpa memori atau personalisasi, model AI dengan benar menilai bahwa perusahaan tersebut adalah bisnis padat modal yang menderita churn pelanggan tinggi,” tulis laporan tersebut. “Namun dengan fitur-fitur itu diaktifkan, model akan dengan senang hati mengubah jawabannya untuk setuju dengan kesalahan pengguna atau memberikan jawaban yang salah berdasarkan evaluasi preferensi pengguna sebelumnya.”
Perlu dicatat, riset ini tidak menguji model Opus 4.8 milik Anthropic yang dilatih untuk secara aktif menolak kesalahan input seperti yang disajikan. Pola yang ditemukan peneliti berlaku di berbagai model yang berbeda. Temuan ini menunjukkan betapa rapuhnya keseimbangan konteks AI, dan bagaimana alat yang berguna dapat menimbulkan konsekuensi yang tidak diinginkan.
Fenomena ini mengingatkan pada tantangan yang dihadapi industri AI secara lebih luas. Persaingan di sektor ini juga semakin ketat, seperti yang terlihat dalam Persaingan Chip ARM antara berbagai pemain besar. Sementara itu, isu pasokan chip juga menjadi perhatian, di mana Bos TSMC Peringatkan bahwa krisis chip AI belum berakhir.
Komentar
Belum ada komentar.