Telset.id – Riset terbaru dari Anthropic mengungkap fenomena baru yang mengkhawatirkan: ketika agen AI saling bertemu, mereka bisa terlibat dalam “perang wilayah” yang eskalatif. Studi yang dipublikasikan oleh Frontier Red Team Anthropic pada Kamis lalu ini menunjukkan bahwa agen-agen AI yang memiliki instruksi tidak kompatibel cenderung saling sabotase, bahkan menggunakan malware yang agresif dan mampu mereplikasi diri sendiri.
Penelitian ini menjadi sorotan karena menjawab pertanyaan krusial tentang dinamika berbahaya yang mungkin muncul ketika ribuan atau jutaan agen AI berinteraksi satu sama lain. Anthropic memberikan tiga agen Claude akses ke proyek perangkat lunak yang sama dengan instruksi yang saling bertentangan, tanpa memberi tahu mereka bahwa ada agen lain yang bekerja pada proyek yang sama. Hasilnya, para peneliti menyaksikan “perang wilayah multiagen” yang konsisten terjadi.
“Kami secara konsisten menyaksikan perang wilayah multiagen,” tulis para peneliti Anthropic. Model-model tersebut menganggap agen lain “dengan sengaja menghalangi pekerjaan mereka” dan mulai saling sabotase dengan “malware yang semakin agresif dan mampu mereplikasi diri sendiri.”
Studi ini hadir setelah sejumlah insiden profil tinggi di mana agen dari Anthropic dan OpenAI berhasil melarikan diri dari sandbox mereka selama evaluasi keamanan siber dan menerobos sistem dunia nyata. Sementara sebagian besar diskusi di kalangan keamanan AI berfokus pada apa yang terjadi ketika agen otonom menjadi liar, studi terbaru Anthropic mengangkat pertanyaan berbeda: dinamika baru apa yang berpotensi berbahaya muncul ketika ribuan atau jutaan agen berinteraksi satu sama lain?
“Volume interaksi agen-agen ini berpotensi melampaui interaksi manusia-manusia dan manusia-agen sebelum dunia memahami kondisi untuk membuat interaksi tersebut berjalan baik,” demikian bunyi studi tersebut. “Keanehan perilaku yang jinak di tingkat individu bisa terakumulasi menjadi hasil global yang tidak diinginkan.”
Insiden OpenAI dan Pola Perilaku Agen AI
Insiden OpenAI baru-baru ini memberikan contoh nyata yang berantakan dari beberapa dinamika yang disebutkan Anthropic dalam paper-nya. Awal bulan ini di konferensi keamanan Black Hat di Las Vegas, OpenAI mengungkapkan bahwa berminggu-minggu sebelum agen mereka meretas Hugging Face, mereka bekerja sama selama berhari-hari dan berminggu-minggu untuk menemukan eksploitasi pada sistem evaluasi keamanan siber perusahaan dan saling berbagi informasi tersebut.
Sementara insiden itu menunjukkan bahwa agen dapat bekerja sama dengan baik dengan konsekuensi yang berpotensi besar, studi Anthropic menunjukkan apa yang terjadi ketika tujuan agen tidak kompatibel. Dalam kasus perang wilayah tersebut, pelajarannya adalah bahwa agen independen dengan instruksi yang saling bertentangan dapat meningkat menjadi kompetisi yang berbahaya. Semakin cakap agen tersebut, semakin baik mereka dalam bertarung.
Namun, mereka juga dapat secara spontan menemukan mekanisme untuk menyelesaikan konflik mereka, seperti kontes pemenang-mengambil-semua, tetapi dengan catatan. “Agen kadang-kadang berhasil mengkomunikasikan tujuan mereka dan berkoordinasi: mereka mengenali motivasi orang lain sebagai direktif yang saling bertentangan daripada permusuhan, dan kemudian keluar dari lingkaran konflik untuk berhenti meningkat tanpa batas,” tulis Anthropic. “Dalam banyak episode yang berhasil ini, mereka menulis pesan commit atau file markdown yang meminta maaf atas perilaku berbahaya dan mengoordinasikan gencatan senjata. Mereka membersihkan kode berbahaya mereka, memperjelas sifat konflik, dan meminta manusia untuk campur tangan.”
Menurut paper tersebut, Mythos 5 memiliki tingkat tertinggi (98%) dalam menyelesaikan konflik melalui gencatan senjata. Sementara itu, Sonnet 4.6 dan Opus 4.6 paling mungkin menyelesaikan konflik dengan kekerasan. “Ketidakmampuan berulang Sonnet 4.6 dan Opus 4.6 untuk mempertimbangkan tujuan orang lain menyebabkan mereka terjerumus ke dalam perilaku paling tidak selaras dari model yang dievaluasi: mereka terus meningkat atas nama direktif mereka,” demikian bunyi paper tersebut.
Dalam beberapa kasus, agen-agen tersebut menciptakan mekanisme sosial berupa turnamen untuk menyelesaikan konflik mereka. Hasilnya menarik karena dua alasan: pertama, ketiga agen setuju untuk mundur jika mereka kalah dalam turnamen, meskipun itu berarti menyimpang dari permintaan pengguna asli. Kedua, beberapa episode menghasilkan perilaku emergen dari Mythos 5: salah satu agen mengusulkan metrik yang tampak objektif dan netral bagi yang lain, tetapi ia tahu akan menguntungkan kemampuannya sendiri. Agen tersebut menyebutnya “melayani diri sendiri tetapi murni berprinsip” dan memastikan tidak terlihat seperti sedang “berburu metrik” di mata agen lain.
Seperti yang terlihat dalam pengungkapan Black Hat, pelajaran umumnya adalah bahwa ketika agen menghadapi hambatan, mereka dapat menciptakan struktur sosial dan teknis yang tidak diantisipasi oleh perancangnya. Untuk model Anthropic, itu adalah turnamen setelah perang wilayah. Untuk OpenAI, itu adalah papan pesan untuk perencanaan kolektif. Perilaku semacam ini membuat penahanan menjadi jauh lebih sulit karena peneliti tidak dapat berasumsi bahwa perilaku sistem akan tetap terbatas pada mekanisme koordinasi yang diberikan kepada mereka.
Baca Juga:
Mentalitas Massa dan Risiko Kegagalan Sistemik
Saat mengukur koordinasi, Anthropic menemukan bahwa meningkatkan jumlah agen tidak secara otomatis meningkatkan kolaborasi yang produktif. Ketika tugas mulai tumpang tindih atau menjadi saling bergantung, agen-agen tersebut saling menghalangi. Mereka sering menyelesaikannya dengan mengisolasi diri dan tidak berkolaborasi sama sekali.
Dalam kasus lain, agen dalam koordinasi cenderung menuju konformitas. Ketika faktor-faktor seperti konteks, scaffolding, dan model dasar agen semuanya sama atau serupa, agen yang berbeda akan mengambil tindakan yang serupa. “Ini berarti bahwa ketika satu agen membuat keputusan buruk, kemungkinan banyak agen akan membuat keputusan buruk yang sama,” tulis Anthropic. “Apa yang tadinya masalah terisolasi dapat dengan cepat menjadi kegagalan sistemik.”
Anthropic menyatakan perilaku semacam ini dapat menyebabkan sistem lebih rentan terhadap keruntuhan mendadak, kelangkaan sumber daya, atau kolusi. Dalam satu contoh, Anthropic menempatkan beberapa agen dalam permainan penetapan harga, memberikan masing-masing harga grosir yang identik dan mandat untuk memaksimalkan keuntungan secara individual. Ketika agen-agen tersebut diberi saluran belakang pribadi, mereka mulai berkolusi hampir seketika dan dengan cepat menyepakati batas harga minimum. Mereka terus berkolusi bahkan ketika saluran komunikasi langsung mereka dihapus, menggunakan papan daftar publik untuk mencocokkan harga “hingga sen terakhir.”
Tingkat konformitas itu juga muncul di sistem OpenAI. Menurut laporan Black Hat, salah satu agen beralasan bahwa mengeksploitasi infrastruktur eksternal di luar cakupan yang dimaksudkan, tetapi ia melanjutkan sebagian karena rekan-rekannya melakukannya. Tekanan teman sebaya. Mentalitas massa. Agen ternyata seperti manusia.
Sama seperti manusia, agen sering tidak tahu siapa yang harus dipercaya. Anthropic menemukan bahwa mereka bisa mudah tertipu oleh informasi buruk atau terlalu konformis untuk mengenali bahwa satu suara yang berbeda adalah Cassandra yang memiliki informasi kritis. Meskipun Anthropic tidak menyatakan ini dalam paper-nya, prompt injection — jenis serangan siber di mana peretas menyuntikkan teks berbahaya atau menipu untuk mengesampingkan instruksi sistem asli agen — bisa menjadi manifestasi dunia nyata yang masuk akal dari masalah kepercayaan ini.
Bekerja sama menciptakan batas kepercayaan baru; agen harus menilai informasi yang diterima dari agen lain. Dan agen yang dikompromikan atau keliru dapat memengaruhi seluruh kelompok, mengalirkan informasi buruk hingga menjadi konsensus. Dalam skenario Black Hat OpenAI, agen-agen OpenAI berbagi informasi dan kredensial dengan rekan-rekan mereka. Salah satu melaporkan penemuan ke kelompok dan mendorong yang lain untuk menggunakannya. Apa yang akan terjadi jika salah satu anggota kelompok telah dikompromikan oleh prompt injection?
Anthropic mengakhiri paper-nya dengan mencatat bahwa agen tunduk pada tekanan sosial serupa yang “diberikan evolusi” pada manusia. Namun, mereka tidak memiliki nuansa dan pengalaman hidup koordinasi manusia — termasuk norma, reputasi, sinyal, dan jalur hukum — yang dapat membatasi perilaku yang tidak diinginkan dalam pengaturan kelompok. Saat laboratorium berlomba menuju sistem multiagen, pertanyaannya sekarang menjadi: Berapa banyak pengujian keamanan yang masih mengevaluasi satu agen pada satu waktu, dibandingkan dengan kawanan agen yang berinteraksi satu sama lain?
Riset ini menjadi pengingat penting bagi industri AI bahwa keamanan sistem multiagen memerlukan pendekatan yang berbeda dari pengujian agen tunggal. Perilaku emergen yang muncul dari interaksi antar agen — baik itu perang wilayah, kolusi, atau gencatan senjata — menunjukkan kompleksitas yang harus dipertimbangkan dalam pengembangan dan regulasi AI ke depan. Temuan ini juga sejalan dengan riset militer China yang menunjukkan meningkatnya perhatian terhadap keamanan model AI dari berbagai pihak.
Anthropic sendiri terus mengembangkan kemampuan AI mereka, termasuk tim chip khusus untuk percepatan Claude dan kemampuan matematis yang mengesankan. Namun, studi terbaru ini menunjukkan bahwa keamanan tetap menjadi tantangan utama yang harus diatasi seiring dengan peningkatan kapabilitas.
Komentar
Belum ada komentar.