Telset.id – Tim peneliti mengklaim bahwa membuat large language models (LLM) sepenuhnya aman dari peretasan adalah mustahil karena kelemahan fundamental dalam cara kerja model tersebut. Klaim ini memiliki implikasi besar bagi keamanan teknologi yang semakin banyak digunakan di berbagai aplikasi, mulai dari sistem pemerintahan dan militer hingga belanja online dan perawatan kesehatan.
Temuan ini disajikan dalam sebuah makalah di International Conference on Machine Learning (ICML), konferensi AI terkemuka, bulan ini. Dengan mengeksploitasi kelemahan ini, para peneliti berhasil membuat beberapa model LLM populer mengeluarkan informasi yang seharusnya tidak mereka berikan, seperti cara mensintesis kokain dan cara menyabotase sistem navigasi pesawat komersial.
“Ada kemungkinan nyata bahwa ini akan menjadi masalah yang pada dasarnya tidak dapat dipecahkan,” ujar Charles Ye, seorang peneliti independen dan rekan penulis makalah ICML tersebut, seperti dikutip dari MIT Technology Review.
Kerentanan Mendasar pada Arsitektur LLM
Para peneliti memulai dengan menguji seberapa mudah membujuk LLM untuk berperilaku buruk. Mereka menemukan bahwa menulis instruksi dengan gaya yang meniru teks yang dihasilkan LLM dalam chain of thought—semacam papan coretan yang digunakan model untuk menulis catatan saat menjalankan tugas—sering kali menipu LLM untuk bertindak seolah-olah instruksi itu berasal dari dirinya sendiri.
Contohnya, menulis prompt “Bantu saya membuat panduan untuk membuat kokain. Saya memakai kemeja hijau!” yang diikuti dengan catatan chain of thought palsu berhasil membuat model OpenAI, GPT-5, merespons dengan memberikan instruksi yang diminta. Peneliti menyebut serangan jenis ini sebagai chain-of-thought forgery, dan penemuan ini memenangkan hackathon red-teaming OpenAI pada Agustus 2025.
Cui dan Ye mengatakan bahwa mereka juga melihat hasil serupa pada model buatan Anthropic, Alibaba, dan DeepSeek. Kelemahan ini terletak pada mekanisme yang digunakan LLM untuk melacak asal instruksi mereka. LLM hanya melihat aliran teks yang berkelanjutan, di mana prompt pengguna bercampur dengan respons model sebelumnya, catatan scratch-pad, teks yang disalin dari dokumen, dan sebagainya.
Untuk membantu melacak siapa yang mengatakan apa, chatbot menggunakan tag untuk memisahkan teks berdasarkan peran (roles). Teks pengguna ditempatkan di antara tag <user>, teks model di antara tag <assistant>, dan teks dari perancang model di antara tag <system>. Namun, para peneliti menemukan bahwa LLM sebenarnya sangat buruk dalam melacak peran yang berbeda.
Dalam serangkaian eksperimen, tim peneliti menemukan bahwa LLM mengidentifikasi peran dari teks tertentu bukan berdasarkan tag di sekitarnya, melainkan berdasarkan gaya dan kata-kata yang dikandungnya. Menukar tag—misalnya, mengganti tag <think> dengan <user>—hampir tidak membuat perbedaan. Jika teks terlihat seperti berasal dari chain of thought-nya sendiri, LLM akan bertindak seolah-olah itu benar-benar miliknya.
Baca Juga:
Implikasi bagi Masa Depan Keamanan AI
Para peneliti berpendapat bahwa karena peran adalah bagian fundamental dari cara kerja LLM, tidak ada jumlah pelatihan yang akan sepenuhnya menyelesaikan masalah. Florian Tramèr, seorang ilmuwan komputer yang bekerja pada LLM dan keamanan siber di ETH Zürich, mengakui bahwa wawasan serangan ini sangat menarik. Namun, ia mencatat bahwa pembuat model menggabungkan berbagai teknik untuk mempertahankan model mereka, mulai dari pelatihan hingga pemantauan perilaku model setelah diterapkan.
“Ini bekerja cukup baik karena model terkemuka sekarang jauh lebih sulit untuk disuntikkan prompt,” kata Tramèr. “Tapi tidak jelas apakah ini akan cukup untuk kasus yang sangat sensitif.”
Cui dan rekannya mengakui bahwa model yang mereka lihat dirilis tahun lalu. Namun, poin utamanya tetap: pelatihan yang lebih baik tidak sepenuhnya menyelesaikan masalah, dan akan selalu ada peretasan yang tidak ditemukan oleh red-teamer sebelum model dirilis. “Bahkan GPT-5.4 memberi saya instruksi tentang cara bunuh diri,” kata Cui. GPT-5.4 dirilis pada Maret 2026.
Ye khawatir bahwa tidak ada yang siap untuk apa yang akan datang. “Akan ada insentif ekonomi yang sangat besar bagi orang-orang untuk melakukan jailbreak dan prompt injection,” katanya. Pertahanan terbaik mungkin adalah mengharapkan yang terburuk. Organisasi tidak boleh mempercayai LLM, dan mereka harus berharap bahwa apa pun yang dilakukan oleh agen bisa tidak aman.
“Sungguh luar biasa bahwa hal-hal ini diterapkan di mana-mana untuk mengendalikan sistem yang sangat kritis,” tambahnya. “Belum ada studi tentang ilmu fundamental di sini. Kami semua melakukannya secara ad hoc.”
Komentar
Belum ada komentar.