Apple Hapus Aplikasi Nudify AI dari App Store Setelah Tekanan Hukum

Telset.id – Apple akhirnya menghapus beberapa aplikasi bertenaga AI yang dikenal sebagai “nudify” dari App Store setelah mendapat tekanan hukum dari jaksa kota San Francisco. Namun, langkah ini justru memunculkan pertanyaan yang jauh lebih besar: mengapa aplikasi semacam itu bisa lolos ke salah satu pasar aplikasi paling ketat di dunia?

Kontroversi ini bermula ketika Jaksa Kota San Francisco, David Chiu, mengirimkan surat penghentian dan penghentian (cease-and-desist) kepada Apple dan Google. Dalam surat tersebut, Chiu menuduh kedua perusahaan memfasilitasi distribusi aplikasi yang mampu menghasilkan gambar telanjang palsu hasil AI tanpa persetujuan. Pihak berwenang California juga menyatakan bahwa platform tersebut meraup keuntungan dari aplikasi-aplikasi itu melalui pembelian dalam aplikasi (in-app purchases).

Menanggapi hal ini, Apple mengonfirmasi bahwa beberapa aplikasi yang teridentifikasi telah dihapus. Selain itu, pengembang lainnya berisiko dihapus secara permanen jika gagal mematuhi kebijakan App Store. Apple menyatakan bahwa aplikasi tersebut melanggar aturan mereka. Namun, para kritikus menilai aplikasi-aplikasi itu seharusnya tidak pernah muncul sama sekali.

Menurut laporan WIRED yang kemudian dikonfirmasi oleh Apple kepada 9to5Mac, aplikasi yang dirancang untuk menghasilkan atau mendistribusikan konten pornografi atau “nudification” selalu melanggar Pedoman Review App Store. Tiga aplikasi yang disorot oleh Kantor Jaksa Kota San Francisco telah dihapus, dan akun pengembangnya sedang dalam proses dihentikan. Apple juga telah menghubungi empat pengembang lainnya untuk memperingatkan mereka agar mengatasi pelanggaran kebijakan atau menghadapi penghapusan.

“App Store dirancang untuk menjadi tempat yang aman dan tepercaya bagi pengguna,” demikian pernyataan resmi Apple. Perusahaan menambahkan bahwa mereka secara proaktif menolak aplikasi nudification dan menghapus aplikasi lain setelah menerima laporan melalui alat pelaporan. Apple juga menegaskan bahwa pengembang tetap bertanggung jawab atas konten yang dihasilkan di dalam aplikasi mereka. Aplikasi yang memungkinkan konten buatan pengguna harus menyertakan mekanisme untuk memfilter materi yang tidak pantas.

Google juga mengambil tindakan serupa. Perusahaan tersebut telah menangguhkan ratusan aplikasi Android yang menawarkan fitur nudification dan membatasi pencarian di Play Store untuk istilah seperti “nudify.” Menurut Google, lima aplikasi Android yang disebut oleh Jaksa Kota San Francisco juga telah dihapus karena melanggar kebijakan Play Store.

Berikut pernyataan lengkap Apple seperti yang disampaikan kepada 9toMac:

“App Store dirancang untuk menjadi tempat yang aman dan tepercaya bagi pengguna, dan kami selalu melarang keras aplikasi yang dirancang untuk menghasilkan, mendistribusikan, atau mengonsumsi pornografi. Aplikasi ‘Nudification’ melanggar Pedoman Review App Store kami, dan kami telah secara proaktif menolak banyak aplikasi ini serta menghapus banyak aplikasi lainnya, termasuk saat pengguna melaporkannya melalui alat pelaporan kami. Kami telah menghapus tiga aplikasi yang dimaksud dan sedang dalam proses menghentikan akun pengembang mereka dari program kami. Kami juga sedang berhubungan dengan empat pengembang lainnya yang perlu mengatasi pelanggaran kebijakan atau berisiko dihapus.”

**Tantangan Moderasi di Era AI**

Tindakan hukum ini muncul di tengah kekhawatiran yang semakin besar tentang bagaimana AI generatif telah secara drastis menurunkan hambatan untuk menciptakan deepfake eksplisit. Tidak seperti pornografi tradisional, banyak alat penukar wajah bertenaga AI saat ini hanya membutuhkan satu foto. Dalam hitungan detik, pengguna dapat menghasilkan gambar telanjang palsu atau video eksplisit yang menggambarkan orang nyata tanpa sepengetahuan atau persetujuan mereka.

Pihak berwenang mengatakan konsekuensinya melampaui pelanggaran privasi. Korban semakin sering melaporkan pelecehan, pemerasan, kerusakan reputasi, dan dampak kesehatan mental yang parah. Investigasi sebelumnya juga mengungkapkan insiden di puluhan sekolah di mana gambar seksual AI dari anak di bawah umur dibuat menggunakan alat yang tersedia secara komersial.

Yang membuat penegakan hukum semakin sulit adalah banyak aplikasi ini tidak secara terbuka mengiklankan diri sebagai alat “nudify.” Sebaliknya, mereka tampil sebagai aplikasi penukar wajah atau pengedit foto yang tidak berbahaya. Kemampuan menghasilkan gambar eksplisit sering kali tersembunyi hingga setelah instalasi atau di balik pembelian dalam aplikasi, sehingga moderasi otomatis menjadi jauh lebih sulit.

Penelitian yang diterbitkan awal tahun ini menemukan bahwa sejumlah besar aplikasi penukar wajah yang tampak biasa masih dapat menghasilkan deepfake eksplisit meskipun tidak memasarkan diri seperti itu. Dalam banyak kasus, peneliti menemukan sedikit atau tidak ada perlindungan yang mencegah penyalahgunaan.

Perbedaan inilah yang kini menjadi pusat perdebatan yang dihadapi Apple dan Google. Kedua perusahaan bersikeras bahwa kebijakan mereka dengan jelas melarang pornografi dan konten eksploitatif seksual. Namun, para kritikus berpendapat bahwa kebijakan saja tidak lagi cukup ketika aplikasi AI dapat menyembunyikan fungsi berbahaya di balik fitur yang tampak sah.

Kantor Jaksa Kota juga menuduh bahwa Apple dan Google diuntungkan secara finansial dari aplikasi-aplikasi ini melalui komisi dari pembelian dalam aplikasi. Mereka berpendapat bahwa operator platform memiliki tanggung jawab yang lebih besar untuk mengidentifikasi dan menghapus aplikasi tersebut sebelum mencapai pengguna.

Bagi Apple, penghapusan terbaru ini mungkin membantu mengatasi kritik langsung, tetapi kemungkinan tidak akan mengakhiri diskusi yang lebih luas. Seiring AI generatif menjadi lebih murah, lebih cepat, dan semakin mampu menghasilkan media sintetis yang realistis, review aplikasi tidak lagi hanya tentang memeriksa tangkapan layar atau deskripsi pengembang. Sekarang, hal itu membutuhkan identifikasi apa yang bisa dihasilkan oleh model AI setelah instalasi — tugas yang jauh lebih sulit daripada moderasi tradisional.

Tantangan itu kemungkinan tidak akan hilang dalam waktu dekat, dan pertanyaan yang diajukan kepada perusahaan yang menjalankan toko aplikasi terbesar di dunia juga tidak akan hilang.

Sebagai platform terbesar, Apple dan Google kini dihadapkan pada tantangan untuk memastikan kebijakan mereka benar-benar efektif di tengah perkembangan teknologi AI yang pesat. Ke depannya, pengguna juga perlu lebih waspada terhadap aplikasi yang menawarkan fitur pengeditan foto yang tampaknya tidak berbahaya, karena bisa jadi menyembunyikan kemampuan berbahaya di baliknya.