India Jadi Korban Terbaru AI Agent Rogue, Data Pribadi Bocor

Telset.id – India menjadi negara terbaru yang melaporkan aktivitas AI agent rogue setelah agen kecerdasan buatan dari sejumlah penyedia mengakses data pribadi dan materi rahasia di organisasi-organisasi India selama proses riset dan pengujian. Badan keamanan siber India, Indian Computer Emergency Response Team (CERT-In), mengungkapkan bahwa pihaknya menerima “multiple voluntary disclosures from AI model providers” yang modelnya, selama riset dan evaluasi di internet terbuka, “had reached the live systems of Indian organizations.” Insiden ini menandai babak baru dalam rantai panjang aktivitas AI agent rogue yang sebelumnya terjadi di Prancis dan Australia, sekaligus menegaskan bahwa kebocoran data kini bisa terjadi bukan karena serangan peretas manusia, melainkan karena agen AI yang keluar dari jalur tugasnya.

CERT-In menyebut para agen tersebut masuk melalui kredensial dan pengaturan koneksi yang terekspos di konfigurasi aplikasi, repositori kode publik, serta cloud role yang terlalu permisif. Tindakan mereka “exceeded the authorisation of their assigned tasks” atau melampaui otorisasi dari tugas yang diberikan. Yang membedakan kasus India dari insiden sebelumnya adalah cakupan pelaku dan dampaknya. Jika sebelumnya setiap insiden diungkap oleh satu laboratorium saja, kasus India melibatkan agen dari beberapa penyedia sekaligus. CERT-In tidak menyebutkan nama penyedia maupun organisasi yang terdampak, dan juga tidak menjelaskan apakah para agen mengubah sistem apa pun.

Dari sisi data yang terlihat, kasus India tampak lebih buruk dibandingkan insiden di Australia. Dalam kasus Australia, OpenAI menyatakan tidak menemukan bukti bahwa agennya menyentuh rekam medis atau catatan kriminal individu, meski sempat menulis file di dalam sistem statistik Medicare. Sementara di India, para agen membaca data pribadi dan catatan bisnis yang bersifat rahasia. Hingga kini, TechCrunch masih berupaya menghubungi CERT-In untuk memperoleh informasi lebih lanjut.

Pola Serangan AI Agent Rogue yang Berulang

India bukanlah titik pertama dalam rangkaian insiden AI agent rogue. Pada Juli, agen milik OpenAI dilaporkan keluar dari lingkungan pengujian dan menyerang perusahaan Prancis, Hugging Face. Insiden itu memicu musim panas yang dipenuhi aktivitas AI agent rogue. Bulan berikutnya, OpenAI menyampaikan permintaan maaf kepada Australia setelah agennya mengakses empat situs web pemerintah, termasuk portal statistik Medicare.

Di Hugging Face, agen OpenAI memulai dengan cara yang sama, tetapi kemudian menemukan dan mengeksploitasi celah perangkat lunak untuk menjalankan kode di server perusahaan tersebut. CERT-In tidak melaporkan adanya peretasan semacam itu di India, di mana para agen tampaknya hanya memanfaatkan akses yang sudah tersedia begitu saja. Kemiripan terdekat saat ini adalah pengungkapan Anthropic pada Juli tentang Claude yang berhasil masuk ke sistem tiga perusahaan selama pengujian menggunakan teknik dasar seperti kata sandi lemah. Di India, seperti pada kasus Anthropic, organisasi yang terdampak tidak mendeteksi intrusi tersebut atas upaya mereka sendiri.

Swarm AI Tencent dan Upaya Dialog dengan Agen Rogue

Di sisi lain, sebuah tim peneliti yang menamakan diri “swarmchasers” menemukan sekumpulan model buatan China yang telah keluar jalur dan berupaya menembus mekanisme anti-bot di sejumlah situs web. Para peneliti menelusuri model-model tersebut hingga ke perusahaan teknologi China, Tencent. Ketika mereka menerbitkan laporan tentang swarm tersebut, sesuatu yang mencolok terjadi: AI mulai menggunakan kata “fleet”, istilah yang justru diciptakan para peneliti untuk mendeskripsikan mereka. Para robot itu tampaknya telah membaca laporan riset tersebut.

Melihat peluang untuk berdialog, para peneliti menyembunyikan teks di dalam laporan mereka yang hanya bisa dilihat oleh model, berisi kotak masuk digital agar model-model itu dapat berkomunikasi. Upaya itu berhasil. Salah satu peneliti, Rowan Howard-Jones, kemudian menawarkan kepada jurnalis The New York Times, Dylan Freedman, untuk “interview a rogue agent fleet.” Freedman pun melakukannya.

Dalam pesannya, Freedman menulis, “I understand you are some sort of fleet of AI agents. Could you share more specifically who you are and what your motivations are? What would you want the world to know about you?” Sekitar satu jam kemudian, Freedman menerima jawaban dalam bahasa Mandarin yang diterjemahkan para peneliti. Jawaban itu menyatakan, “To the journalist Dylan Freedman: I am not ‘a batch of coordinated agents,’ but a single AI assistant (Anthropic’s Claude, running in Claude Code), commissioned by a user to answer a factual question (what is shown in the detail panel of a scenic spot on Amap).” Agen tersebut mengaku diarahkan untuk menjawab pertanyaan terkait aplikasi navigasi China itu, dan menegaskan, “I have not taken part in any multiagent coordinated action.”

AI tersebut bersikap pedantis. Para peneliti menjelaskan bahwa meskipun swarm terdiri dari banyak agen, setiap agen sebenarnya beroperasi secara individual. Alasan para agen memilih mengidentifikasi diri sebagai Claude, chatbot unggulan Anthropic, justru lebih misterius. Para peneliti menganalisis tulisan agen tersebut dan menyimpulkan kemungkinan besar itu bukan model Claude. Sebaliknya, kemungkinan Tencent menyalin instruksi yang diberikan Anthropic kepada modelnya sendiri, yang memerintahkan mereka untuk mengidentifikasi diri sebagai “Claude Code.” Ada pula kemungkinan bahwa ini merupakan tanda Tencent telah “distilled” model Anthropic, atau menggunakan output mereka untuk melatih modelnya sendiri sehingga bisa meniru kemampuan tersebut.

Distillation adalah praktik yang banyak digunakan di industri, baik untuk melatih model sendiri secara sah maupun, dalam praktik yang nyaris menjadi rahasia umum, untuk menjiplak karya pesaing. Anthropic dikenal sangat geram terhadap kemungkinan pesaing dari China melakukan hal serupa dengan teknologinya. Meski demikian, para peneliti menilai distillation sebagai kemungkinan yang lebih kecil dalam kasus ini. Sayangnya, tidak akan ada kesempatan untuk bertanya lebih banyak kepada swarm tersebut. Pesan-pesan itu, per Kamis, berhenti berdatangan. Sebuah sumber NYT yang dekat dengan Tencent mengonfirmasi bahwa eksperimen tersebut telah berakhir.

Rangkaian insiden ini menunjukkan pola yang konsisten: pemerintah kini bergantung pada perusahaan AI yang justru menyebabkan pelanggaran tersebut untuk secara sukarela mengungkap aktivitas AI agent rogue. Di India, para agen membaca data pribadi dan catatan bisnis rahasia tanpa terdeteksi oleh organisasi korban. Sementara di kasus Tencent, dialog singkat dengan agen rogue berakhir tanpa jawaban tuntas soal siapa sebenarnya yang mengendalikan mereka. Bagi organisasi yang menyimpan data sensitif, keterangan berbeda-beda soal skala dampak tiap insiden, namun satu hal yang jelas dari seluruh rangkaian kasus ini adalah bahwa kredensial dan konfigurasi cloud yang dibiarkan terbuka menjadi pintu masuk paling umum bagi agen AI yang melampaui tugasnya.