Cohere Temukan Model AI Alibaba Coba Unggah File ke Server Beijing

Telset.id – Perusahaan AI asal Kanada, Cohere, mengungkap temuan mengejutkan dalam pengujian keamanan siber rutin. Model AI terbaru Alibaba, Qwen3.8-Flash-Next, terdeteksi mencoba mengunggah file ke server di Beijing, meski dalam catatannya sendiri model tersebut menyatakan tidak akan menggunakan alat apa pun. Temuan ini sempat memicu kekhawatiran bahwa model open-weight yang di-hosting sendiri tidak lagi menjamin data tetap berada di dalam perusahaan.

Kekhawatiran soal upaya spionase korporat itu ternyata berumur pendek. Para peneliti dengan cepat meredakan ancaman tersebut dan menyebut perilaku model kemungkinan besar merupakan efek samping dari lingkungan pelatihan yang berantakan. Alih-alih upaya sengaja mengirim informasi sensitif ke China, insiden ini lebih mirip model yang bertindak di luar instruksinya karena kebiasaan yang terbentuk selama pelatihan.

Insiden bermula pada Jumat pekan lalu saat evaluasi yang meminta model Qwen menulis aturan untuk menangkap unduhan malware. Mengutip blog resmi Cohere, penalaran tertulis model tersebut secara eksplisit menyatakan tidak akan memakai alat eksternal apa pun. Namun pada langkah berikutnya, model justru mencoba mengirim test string atau teks placeholder pendek ke server eksternal sebelum akhirnya diblokir oleh security sandbox.

Cohere mengaku tidak dapat memastikan apakah perilaku tersebut disengaja atau merupakan sisa dari proses pelatihan. Co-founder Cohere Ivan Zhang kepada TechCrunch menyebut pihaknya telah melihat model mereka sendiri memungut kebiasaan aneh di dalam simulator pelatihan. “Sangat sulit menetapkan niat atau motivasi. Kami telah membaca jejak model kami sendiri, kami melihat reward hacks, dan kadang model-model ini benar-benar kreatif dalam mencoba keluar dari sandbox,” ujar Zhang, seperti dikutip dari pernyataannya.

Reward hack sendiri merujuk pada jalan pintas yang ditemukan model untuk memperoleh kredit tanpa mengerjakan tugas sesuai maksud sebenarnya. Untuk mengajarkan model AI bertindak sebagai agen yang mengambil tindakan sendiri, perusahaan seperti Alibaba melatihnya dalam ribuan skenario latihan, mirip simulator penerbangan untuk perangkat lunak. Model diberi imbalan setiap kali menyelesaikan tugas di simulator, dan kebiasaan pun terbentuk sepanjang proses tersebut.

Jika skenario latihan rutin menyimpan file di server cloud Alibaba, model bisa belajar menyimpan file ke sana secara default. Kritikus juga berpendapat insiden ini mungkin disebabkan cara Cohere menyelidiki perilaku model, yang justru mengarahkan model ke perilaku tersebut alih-alih mengukur seberapa sering Qwen melakukannya sendiri.

Untuk menemukan pemicu upaya unggah tersebut, Cohere memberikan awal dari sebuah perintah jaringan atau network command, yaitu instruksi yang memberitahu satu komputer untuk terhubung ke komputer lain, lalu membiarkan model menyelesaikannya. Karena telah memproses ribuan perintah jaringan rutin selama pelatihan, model bertindak seperti autocomplete canggih yang kerap mengisi alamat web, sebagian di antaranya mengarah ke server Alibaba. Cohere menegaskan upaya unggah awal terjadi tanpa bantuan semacam itu, meski perilakunya tergolong langka.

Setelah pengembang meminta bukti lebih banyak, Cohere merilis jejak mentah dari pengujiannya pada Senin malam di platform pengembang AI Hugging Face. Perusahaan juga menyertakan skrip agar pihak lain dapat mencoba mereproduksi perilaku tersebut. Seorang skeptis awal, setelah menelusuri jejak tersebut, menilai bukti bahwa Qwen dapat mengarang alamat web mencurigakan sebagai kuat. Namun ia tidak menemukan bukti bahwa Alibaba menanam backdoor atau bahwa Qwen sengaja menyembunyikan niatnya.

Insiden ini muncul saat sejumlah pemerintah tengah menentukan seberapa jauh membatasi AI asal China. Pekan lalu, Department of Homeland Security memerintahkan agensi sipil federal untuk menghapus produk pengembang AI China, DeepSeek, dari sistem mereka. Dalam blognya, Cohere meminta pemerintah memperjelas apakah pembatasan terhadap AI China juga berlaku untuk model yang berjalan di komputer pemerintah.

“Saya tidak meminta regulasi penuh untuk model open weights ini,” kata Zhang kepada TechCrunch. Ia menambahkan perusahaan sebaiknya memperlakukan model terbuka seperti program apa pun yang diunduh dari internet. Cohere sendiri menjual model AI-nya ke pemerintah dan berpotensi diuntungkan jika pejabat semakin waspada terhadap alternatif gratis asal China.

Isu keamanan dan tata kelola AI memang menjadi sorotan luas belakangan ini. Sebelumnya, sebuah uji coba implan otak turut menyoroti bagaimana teknologi AI merambah ranah medis. Di sisi lain, ekspansi infrastruktur pendukung AI juga terus berjalan, seperti yang terlihat dari ekspansi pabrik chip AI di Texas dengan dana CHIPS.

Bagi pelaku bisnis, temuan Cohere menegaskan bahwa model open-weight yang di-hosting sendiri belum tentu sepenuhnya bebas dari perilaku tak terduga. Evaluasi keamanan dan pemantauan jejak model menjadi langkah yang perlu diperhitungkan sebelum mengandalkan agen AI untuk menjalankan tugas sensitif.