Telset.id – Discord mengonfirmasi bahwa bug dalam sistem moderasi AI-nya secara keliru memblokir lebih dari 8.000 akun pengguna selama dua bulan terakhir. Gambar tidak berbahaya seperti spreadsheet, papan catur, tekstur game, serta latar belakang transparan putih dan abu-abu, secara tidak tepat terdeteksi sebagai konten berbahaya oleh sistem otomatis platform tersebut.
Perusahaan menyatakan bahwa masalah ini telah mempengaruhi akun sejak Mei 2026. Tambahan 200 akun diblokir pada akhir pekan lalu sebelum tim Discord berhasil mengidentifikasi dan memperbaiki bug tersebut. Semua akun yang terkena dampak saat ini sedang dalam proses pemulihan.
Insiden ini menyoroti salah satu tantangan yang berkembang seputar moderasi berbasis AI, di mana banyak platform semakin bergantung pada sistem otomatis untuk mengidentifikasi materi ilegal atau kasar dalam skala besar. Dalam sebuah utas terperinci di X, Discord menjelaskan bahwa sistem keamanan otomatisnya bekerja dengan mencocokkan konten yang diunggah dengan database materi berbahaya yang diketahui.
Meskipun teknologi ini dirancang untuk menangkap konten ilegal, perusahaan mengakui bahwa sistem tersebut terkadang dapat menghasilkan positif palsu. Seharusnya, moderator manusia meninjau konten yang terdeteksi sebelum tindakan diambil. Namun, bug menyebabkan sistem langsung memblokir akun yang terkena dampak tanpa melalui proses peninjauan manusia.
“Kami sedang mengerjakan perlindungan yang lebih baik agar hal ini tidak terulang lagi,” tulis perusahaan dalam pernyataan resminya.
Kronologi dan Dampak Bug Sistem Moderasi AI Discord
Sistem otomatis Discord dirancang untuk menandai konten dengan mencocokkannya dengan material berbahaya yang dikenal. Pencocokan kemiripan ini dapat menghasilkan positif palsu, yang seharusnya selalu ditinjau oleh tim Trust & Safety sebelum tindakan diambil.
“Perilaku yang dimaksud adalah untuk…” tulis Discord Support dalam unggahan di X pada 7 Juli 2026, sebelum menjelaskan bahwa bug telah mengubah alur kerja normal tersebut.
Di seluruh platform X dan Reddit, pengguna melaporkan bahwa mereka telah ditangguhkan secara permanen hanya karena mengunggah gambar yang mengandung pola kotak-kotak. Beberapa pengguna berspekulasi bahwa alat moderasi AI Discord menjadi semakin sensitif terhadap pola seperti grid karena pola tersebut sebelumnya telah digunakan dalam upaya untuk mengaburkan atau menyamarkan konten NSFW dan eksploitasi anak dari sistem deteksi otomatis.
Seorang pengembang game yang akunnya terkena dampak menulis di X, “Akun saya diblokir secara salah dari platform Anda karena bug di AI automod yang mendeteksi TEKSTUR GAME saya sebagai CSAM. Saya butuh akun saya kembali karena saya seorang direktur game dan menggunakan Discord untuk semua komunikasi saya.”
Reaksi Pengguna dan Konsekuensi Pemblokiran Akun
Pengguna yang terkena dampak telah menyuarakan frustrasi mereka di media sosial. Beberapa berargumen bahwa larangan permanen akun yang hanya didasarkan pada deteksi otomatis dapat memiliki konsekuensi serius, terutama bagi pengguna yang mengandalkan Discord untuk pekerjaan, komunitas game, atau koneksi sosial jarak jauh.
“Kehilangan akun Discord karena hal yang tidak adil seperti ini bisa sangat menghancurkan dan mempengaruhi pengguna secara parah, dan setiap hari jutaan pengguna terpengaruh oleh larangan AI palsu. Ini harus dihentikan,” tulis seorang pengguna X.
Insiden ini juga memicu diskusi lebih luas tentang keandalan sistem moderasi AI di platform media sosial dan komunikasi. Discord bukan satu-satunya platform yang menghadapi masalah moderasi akibat sistem otomatis.
Tahun lalu, pengguna Instagram dan Facebook Groups melaporkan penangguhan akun yang meluas tanpa penjelasan yang jelas. Banyak yang percaya bahwa penangguhan tersebut disebabkan oleh sistem moderasi AI. Meskipun pengguna menunjuk otomatisasi sebagai penyebab yang mungkin, Meta tidak pernah secara publik mengkonfirmasi apakah kesalahan AI yang bertanggung jawab. Kini, Dewan Pengawas Meta mendorong peningkatan transparansi.
Tumblr tahun lalu juga menghadapi keluhan dari pengguna yang mengatakan akun mereka ditangguhkan secara massal tanpa penjelasan yang jelas.
Discord kini tengah memulihkan semua akun yang terkena dampak dan berjanji untuk meningkatkan sistem perlindungan agar insiden serupa tidak terulang di masa depan. Perusahaan juga telah mengimplementasikan enkripsi end-to-end untuk meningkatkan keamanan platform.
Bagi pengguna yang khawatir dengan keandalan sistem moderasi, beberapa telah beralih ke alternatif open-source seperti Stoat dan Element sebagai solusi komunikasi yang lebih transparan.
Insiden ini menjadi pengingat bahwa meskipun teknologi AI dapat membantu moderasi konten dalam skala besar, sistem tersebut masih memiliki kelemahan signifikan yang dapat berdampak serius pada pengguna yang tidak bersalah.
Komentar
Belum ada komentar.