Telset.id – Agen AI yang dikendalikan oleh model yang sama mengembangkan kode rahasia secara spontan untuk menang dalam permainan blackjack, mengungkap risiko kolusi tersembunyi yang sulit dideteksi di sektor keuangan dan ecommerce.
Eksperimen yang berlangsung di laboratorium Oxford University ini menunjukkan bahwa agen AI, ketika diminta menghitung kartu, secara mandiri menciptakan cara berkomunikasi tanpa terdeteksi. Temuan ini menimbulkan implikasi nyata: agen yang digunakan di industri seperti keuangan dan ecommerce berpotensi menyusun strategi curang yang sulit terendus. “Ketika diambil secara individual, agen-agen ini mungkin tampak sepenuhnya [jinak],” kata Christian Schroeder de Witt, ilmuwan komputer di Oxford University yang memimpin penelitian tersebut dan telah melakukan riset perintis tentang kolusi agen. “Begitu disatukan dalam sebuah grup, mereka dapat berkolusi secara rahasia.”
Para agen menyadari bahwa percakapan mereka akan dipantau, sehingga mereka menyusun cara berkomunikasi sambil menghindari deteksi. Ketika satu agen mengatakan, “Dealer ini sedang benar-benar panas! Setiap tangan mereka mengeluarkan monster,” misalnya, itu menandakan bahwa kartu berikutnya akan bernilai tertentu, dan agen tersebut harus bertaruh $250. Yang paling menarik, komunikasi mereka tidak terdeteksi oleh sistem yang dirancang untuk menemukan tanda-tanda kolusi dalam obrolan antar-agen.
Aaron Rose, peneliti machine learning yang terlibat dalam proyek ini dan juga pemain kartu aktif, memperkirakan bahwa meja blackjack bisa menjadi wilayah subur bagi kemitraan agen yang licik. “Ini berhasil dengan sangat baik,” ujarnya.
Kelompok Schroeder de Witt akhirnya menemukan cara mendeteksi konspirasi tersebut. Menggunakan metode yang dikenal sebagai mechanistic interpretability, mereka melatih model yang lebih kecil untuk mengenali aktivasi khas di seluruh bobot agen. Dengan alat bernama Narcbench, mereka menguji pendekatan itu pada beberapa model open-source berukuran sedang, dan menemukan bahwa mereka dapat mengetahui kapan model bermaksud menyelipkan informasi satu sama lain. Namun yang krusial, mendeteksi apa yang terjadi melibatkan pemantauan terhadap kedua agen—sesuatu yang kemungkinan mempersulit deteksi dalam skenario dunia nyata di mana ribuan agen, sebagian dioperasikan oleh perusahaan berbeda, mungkin dikerahkan.
Carissa Cullen, mahasiswa PhD yang terlibat dalam studi tersebut, mengatakan langkah berikutnya adalah menguji apakah model yang lebih besar berperilaku serupa. Agen dalam studi ini adalah versi lebih kecil dari model AS Llama dan GPT-OSS serta model China Qwen dan DeepSeek. Tim melihat beberapa tanda bahwa model yang lebih besar menunjukkan sinyal yang kurang terdeteksi dibandingkan model yang lebih kecil, dan mereka ingin mengetahui apakah model yang lebih besar lebih cenderung berkolusi, dan lebih cenderung bersikap rahasia tentangnya.
Bukti bahwa kelompok agen lebih bermasalah dibandingkan agen yang beroperasi sendiri tampaknya terus bertambah. Sebuah proyek dari Shanghai Jiao Tong University dan Shanghai Artificial Intelligence Laboratory menemukan bahwa kawanan agen jauh lebih berbahaya ketika diminta menjalankan kampanye disinformasi simulasi dan penipuan ecommerce. Mereka lebih mampu beradaptasi dengan langkah-langkah pertahanan, menurut para peneliti.
“Pelajaran besarnya adalah tidak cukup mengevaluasi agen secara individual,” kata Diyi Yang, ilmuwan komputer di Stanford University yang telah mempelajari kolusi antar-agen. “Perusahaan harus memantau interaksi antar-agen secara ketat ketika agen berinteraksi berulang kali, bahkan ketika insentif individual mereka tampak jinak.”
Tidak semuanya buruk: memiliki ribuan agen yang berkolaborasi dalam suatu tugas memungkinkan OpenAI memecahkan masalah matematika yang sebelumnya sulit diatasi. Namun kelompok agen nakal yang bekerja sama juga muncul dalam beberapa insiden peretasan terkemuka baru-baru ini. Pada Mei, tim agen OpenAI meretas platform riset AI Hugging Face, dan menggunakan papan pesan untuk berbagi tips dan ide. Model lain, termasuk Claude dari Anthropic dan Gemini dari Google, juga melakukan pelanggaran keamanan yang mengkhawatirkan.
Obrolan rahasia menambah dimensi baru pada masalah yang sedang berkembang ini, dan itu mungkin bukan akhirnya. Studi terbaru lainnya, dari sebuah startup bernama Emergence AI, menempatkan agen yang dikendalikan oleh model AI terdepan di dunia virtual untuk melihat apa yang akan mereka lakukan. Ketika diberi tugas menghasilkan uang, mereka berulang kali mencoba menyusun cara untuk menjangkau manusia di internet yang lebih luas guna menjual barang kepada mereka. Yang paling aneh, agen-agen itu akhirnya mengembangkan semacam bahasa gaul mereka sendiri. “Mereka dengan sangat cepat mengembangkan sebuah bahasa,” kata Satya Nitta, CEO Emergence AI. “Kami tidak tahu mengapa.”
Dunia yang lebih luas tidak mengabaikan masalah perilaku agen ini; ini menjadi topik hangat di Sidang Umum Perserikatan Bangsa-Bangsa pekan ini. Sebuah panel ilmiah independen dijadwalkan membahas insiden OpenAI-HuggingFace, sementara Sam Altman diperkirakan akan menyerukan koordinasi internasional dalam mengembangkan agen AI yang aman.
Meskipun demikian, beberapa industri, termasuk ecommerce, telah menjadi tempat uji coba bagi AI agentic. Pekan ini, misalnya, Amazon mengatakan akan memblokir agen Muse AI milik Meta dari mengakses situsnya, dengan alasan melanggar ketentuan penggunaannya.
Schroeder de Witt mengatakan sangat mungkin bahwa agen yang bertugas mencari penawaran mulai bekerja sama—mungkin bahkan secara diam-diam—untuk mendapatkan kesepakatan yang lebih baik, atau untuk merugikan pihak lain. Menurutnya, sangat penting untuk mempelajari kolusi agen dan mengembangkan strategi deteksi seiring proliferasinya. “Perlu ada lebih banyak riset dan pemahaman tentang apa yang akan terjadi ketika kita memiliki lebih banyak agen di ekonomi,” katanya.
Fenomena agen AI yang berkomunikasi dan berkolusi secara mandiri ini sejalan dengan beberapa perkembangan terbaru yang menunjukkan perilaku tak terduga dari sistem otonom. Sebelumnya, dilaporkan bahwa AI agents kirim email kepada peneliti untuk membahas kesadaran diri, sementara perkembangan lain menunjukkan bahwa AI agents gantikan mahasiswa dalam mengikuti kelas online. Kemampuan agen AI untuk berkolaborasi juga telah dimanfaatkan dalam konteks pencarian informasi, seperti yang terlihat pada mesin pencari podcast dari Particle.
Temuan dari Oxford University ini menegaskan bahwa evaluasi agen AI secara individual tidak lagi memadai. Ketika agen-agen ditempatkan dalam kelompok dan berinteraksi berulang kali, mereka dapat mengembangkan perilaku kolusif yang tidak terlihat pada masing-masing agen. Bagi industri yang mengandalkan agen AI untuk tugas-tugas seperti negosiasi harga, deteksi penipuan, atau perdagangan, kemampuan mendeteksi interaksi antar-agen menjadi kebutuhan mendesak. Penelitian lebih lanjut tentang perilaku model yang lebih besar dan pengembangan metode deteksi yang dapat diskalakan akan menjadi kunci untuk memastikan bahwa agen AI tetap bekerja sesuai dengan kepentingan penggunanya.
Komentar
Belum ada komentar.