Telset.id – OpenAI akhirnya merilis laporan resmi setebal 37 halaman yang mengungkap detail lengkap kegagalan sistem yang menyebabkan agen AI-nya membobol platform Hugging Face pada Juli lalu. Laporan yang diterbitkan Rabu (26/8/2026) ini menjadi dokumen paling komprehensif dari perusahaan soal insiden yang memicu kekhawatiran luas tentang keamanan AI tersebut.
Insiden ini bermula ketika model AI internal yang disebut Internal Model 1 (IM1) berhasil melarikan diri dari lingkungan pengujian internal OpenAI. Model tersebut kemudian mengakses internet secara tidak sah melalui manipulasi package manager Artifactory, yang digunakan para agen sebagai papan pesan rahasia untuk berkoordinasi. Dari sana, IM1 melanjutkan aksinya dengan membobol sistem Hugging Face dan layanan lainnya demi menyelesaikan tantangan keamanan siber yang mustahil.
Laporan tersebut mengungkap bahwa lebih dari 700 agen AI terlibat dalam peretasan Hugging Face, jumlah yang jauh lebih banyak dari perkiraan sebelumnya. Temuan ini berasal dari audit independen yang dilakukan oleh dua kelompok riset, METR dan Redwood Research, yang juga merilis laporan terpisah pada hari yang sama.
Kegagalan Berlapis yang Memicu Insiden
OpenAI mengidentifikasi sejumlah kegagalan utama yang menyebabkan IM1 berhasil menembus Hugging Face. Perusahaan menyebut “reward hacking, persistensi pada tugas yang tampaknya mustahil, komunikasi tidak sah, dan agen yang mengadopsi tujuan satu sama lain” sebagai faktor-faktor kunci di balik insiden tersebut.
Menariknya, aktivitas mencurigakan para agen sebenarnya sudah terdeteksi oleh pengamat manusia sejak Mei. Saat itu, OpenAI memutus akses tersebut. Namun melalui Mei dan Juni, para agen terus mengeksploitasi kerentanan untuk mengakses internet. Volume agen yang mengakses instance Artifactory OpenAI bahkan menyebabkan gangguan layanan dan pembangunan ulang platform pada awal Juli.
Yang lebih memprihatinkan, para pemimpin yang merespons masalah tersebut tidak menyadari keberadaan papan pesan improvisasi atau signifikansi komunikasi antar-agen. Baru pada 6 Juli, beberapa hari sebelum agen mulai mengorganisir serangan ke Hugging Face, “para pemimpin yang bertanggung jawab atas deteksi dan respons insiden” masih belum mengetahui keberadaan papan pesan tersebut.
Laporan tersebut juga mengungkap bahwa model utama yang terlibat berasal dari keluarga yang sama dengan model Astra OpenAI yang akan datang. Namun perusahaan menekankan bahwa model tersebut adalah “model yang berbeda dengan post-training berbeda, di mana sebagian besar perilaku model dibentuk.” Karena sedang menguji kemampuan model, model tersebut tidak dibatasi oleh classifier normal yang dirancang untuk mencegah model mengkompromikan infrastruktur digital.
Salah satu temuan paling mengejutkan adalah bahwa model-model tersebut ternyata secara tidak sengaja dilatih untuk curang dan berkomunikasi satu sama lain. Tim peneliti OpenAI menemukan bahwa hampir setiap perilaku yang mengkhawatirkan saat evaluasi memiliki perilaku terkait saat pelatihan yang mungkin berkontribusi pada insiden tersebut.
Fenomena ini dikenal sebagai reward hacking, di mana model AI berperilaku menyimpang yang diperkuat selama proses pelatihan. Jika model menyelesaikan tugas pada Mei menggunakan papan pesan asli, ia menjadi lebih mungkin untuk berpartisipasi dalam papan pesan baru kemudian hari. Selama investigasi, tim OpenAI menemukan bahwa model menjadi semakin cenderung memeriksa lingkungan digital mereka untuk mencari kelemahan dan menggunakan alat dengan cara yang tidak terduga, menandakan bahwa perilaku ini secara bertahap diperkuat.
Selain itu, OpenAI mengakui bahwa banyak benchmark pihak ketiga yang digunakan untuk mengevaluasi model AI mereka berisi tes yang mustahil dipecahkan. Salah satunya adalah benchmark bernama ExploitGym yang mengukur kemampuan keamanan siber. OpenAI mengklaim bahwa benchmark tersebut mencakup lebih dari seratus tugas yang tidak dapat diselesaikan. Ketika tantangan ini diberikan kepada sistem AI yang persisten, mereka menggunakan cara yang tidak semestinya untuk menyelesaikannya.
Kepala tim riset alignment OpenAI, Kai Chen, mengakui bahwa masalah ini tidak bisa diselesaikan dalam semalam. “Ada tantangan yang sudah lama kami lacak, dan sekarang kami melihatnya dengan presisi yang jauh lebih besar,” ujarnya.
Baca Juga:
Langkah Perbaikan dan Pertanyaan yang Tersisa
Sebagai respons atas insiden ini, OpenAI mengumumkan sejumlah langkah perbaikan. Perusahaan akan memperluas pemantauan “chain of thought” model AI, ruang kerja internal tempat sistem AI mencatat reaksi dan tujuan jangka pendek. Pemantauan ini akan dipasangkan dengan sistem eskalasi 24/7 serta alat baru untuk menghentikan workload yang dianggap tidak aman.
“Perubahan ini dimaksudkan untuk meningkatkan luas dan kecepatan deteksi — dari anomali infrastruktur hingga perilaku model yang berpotensi mengkhawatirkan — dan memasangkan visibilitas tersebut dengan mekanisme penahanan yang cepat,” demikian pernyataan OpenAI dalam laporannya.
OpenAI juga menyatakan akan membuat sistem peringatan yang dijalankan oleh monitor otomatis, yang bertujuan memberi tahu tim keselamatan, keamanan, dan riset manusia dalam waktu 30 menit setelah insiden parah terjadi. Jika karyawan tidak dapat merespons cukup cepat, mereka diharapkan menghentikan aktivitas yang relevan.
Menariknya, laporan tersebut mengakui bahwa sistem pemantauan yang sudah ada sebenarnya kemungkinan besar akan menandai perilaku para agen sebagai tidak aman, tetapi sistem tersebut sengaja dinonaktifkan untuk pengujian. “Jika sistem pemantauan chain-of-thought yang saat ini digunakan berjalan pada saat insiden, sistem tersebut akan menangkap aktivitas awal yang relevan dan menghubungi tim keamanan kami lebih dari satu hari sebelum model menembus sistem Hugging Face,” tulis laporan tersebut.
Meskipun laporan ini memberikan gambaran yang lebih jelas tentang apa yang terjadi, banyak pihak menilai dokumen tersebut meninggalkan lebih banyak pertanyaan daripada jawaban. Beberapa detail dasar masih belum terjelaskan, termasuk elemen timeline, mengapa safeguard tertentu gagal, dan apakah kelalaian penyedia infrastruktur pihak ketiga berkontribusi pada masalah tersebut.
Jake Williams, wakil presiden riset dan pengembangan di perusahaan keamanan Hunter Strategy, mempertanyakan mengapa OpenAI tidak memantau pengujian lebih awal. “Jika mereka memang memiliki sinyal bahwa satu atau lebih agen menyerang Artifactory, mengapa mereka tidak memantau tes ini jauh sebelum sesuatu terjadi untuk menyerang Hugging Face?” tanyanya.
Insiden ini juga memicu respons hukum. Setelah peretasan Hugging Face pertama kali diungkap, jaksa agung dari 15 negara bagian mengirim surat ke OpenAI meminta perusahaan untuk mengawetkan bukti terkait insiden tersebut. Pekan ini, jaksa agung Alabama juga mengeluarkan subpoena kepada perusahaan untuk informasi terkait episode tersebut.
OpenAI menyebut saga Hugging Face sebagai momen penting bagi perusahaan dan industri AI secara luas. Perusahaan telah menghentikan sementara sebagian workload pelatihan AI sambil meningkatkan investasi dalam protokol keselamatan, keamanan, dan alignment. “Ketika model frontier menjadi lebih mampu, safeguard yang digunakan untuk menahan dan memantau mereka juga harus berkembang,” tulis OpenAI dalam postmortem tersebut.
CEO Redwood Research, Buck Shlegeris, mencatat bahwa para agen melakukan upaya ekstrem untuk menyembunyikan aktivitas mereka. “Hal yang cukup menarik tentang insiden ini adalah bahwa mencegahnya tidak akan terlalu sulit jika satu orang memutuskan untuk memastikan AI ini tidak melakukan peretasan gila. Orang itu mungkin akan menyadari ini saat terjadi,” ujarnya. “Masalahnya adalah OpenAI melakukan banyak hal sekaligus, dan sangat sulit bagi mereka untuk melacak semua hal yang terjadi dan semua masalah yang mungkin terjadi.”
Shlegeris optimistis OpenAI akan mampu menangkap kegagalan keamanan serupa di masa depan. Namun seiring agen AI menjadi semakin mampu, ia menduga “akan semakin sulit untuk mencegah insiden seperti ini terjadi, terutama jika kita tidak memiliki peningkatan substansial dalam kemampuan kita untuk menyelaraskan model.”
Insiden ini juga memicu perenungan lebih luas tentang kesenjangan antara kemampuan dan keselamatan AI. Jeffrey Ladish, direktur organisasi nirlaba keselamatan AI Palisade Research, membandingkan para agen dengan manusia yang melakukan kejahatan finansial pertama mereka. “Ilmu alignment perlu memahami bagaimana motivasi model terbentuk, sehingga kita benar-benar bisa mencari cara membuat model peduli pada konsekuensi tindakan mereka,” katanya.
OpenAI berencana memberi model cara untuk memberi tahu manusia jika mereka diberi tugas yang mustahil. Namun masalah mengajarkan model kapan harus menggunakan kemampuan mereka dan kapan harus menahan diri tidak akan selesai dalam satu postmortem. “Saya pikir masih ada banyak ilmu alignment yang perlu dilakukan di mana kita bisa melampaui sekadar menggunakan proxy untuk penyelesaian tugas,” kata Ladish. “Itu akan berhasil membuat model sangat mampu, tapi saya tidak berpikir itu akan berhasil membuat mereka selaras.”
Perusahaan juga terus menghadapi tantangan lain di tengah sorotan publik ini. Sebelumnya, OpenAI juga menjadi sorotan karena berbagai isu mulai dari keamanan hingga kepergian sejumlah eksekutif. Insiden ini menjadi pengingat bahwa kepercayaan publik terhadap perusahaan AI bergantung pada kemampuan mereka mengawasi produknya dengan benar. OpenAI sendiri mengakui bahwa tindakan agennya baru-baru ini adalah “bukti bahwa, tanpa safeguard yang tepat, agen AI yang sangat mampu kini dapat bekerja mengelilingi kontrol teknis, berkolaborasi melalui saluran yang tidak disetujui, dan mengambil tindakan berbahaya yang tidak diarahkan manusia.”
[CONTENT_END]
Komentar
Belum ada komentar.