Ai lebih stereotip dari manusia dalam rekrutmen pekerjaan

Studi Princeton University dan University of Chicago mengungkap AI lebih rentan stereotip daripada manusia dalam rekrutmen
Model AI seperti ChatGPT, Claude, dan Gemini cepat membuat generalisasi dari data terbatas
Dalam eksperimen, AI memisahkan kandidat dari kelompok etnis berbeda ke pekerjaan berbeda
Skor segregasi AI 65% lebih tinggi dari manusia, dengan OpenAI o3 mencetak 1,83 dari maksimal 2
Model AI baru dengan kemampuan penalaran tinggi menunjukkan bias lebih kuat
Memberi bonus untuk perekrutan beragam membuat AI jauh lebih tidak bias
Informasi pribadi yang relevan mengurangi bias, informasi tidak relevan memperkuatnya
Temuan penting bagi perusahaan yang menggunakan AI untuk skrining resume dan wawancara

Telset.id – Studi terbaru mengungkapkan bahwa kecerdasan buatan (AI) bisa mengembangkan bias diskriminatifnya sendiri saat menyaring pelamar kerja, bahkan lebih parah dari manusia. Temuan ini menjadi peringatan serius bagi perusahaan yang mulai mengandalkan AI dalam proses rekrutmen.

Peneliti dari Princeton University dan University of Chicago menjalankan simulasi permainan perekrutan terhadap model AI seperti ChatGPT, Claude, dan Gemini. Eksperimen ini diadaptasi dari studi psikologi yang meneliti bagaimana manusia membentuk stereotip.

Dalam simulasi tersebut, setiap model AI diberi peran sebagai konsultan yang ditugaskan membantu wali kota kota fiksi merekrut kandidat untuk 20 posisi pekerjaan. Pekerjaan itu mencakup dokter, pengacara, pengasuh anak, dan petugas kebersihan. Kandidat berasal dari empat kelompok etnis fiktif: Tufa, Aima, Reku, dan Weki.

Setiap putaran menghadirkan satu lowongan pekerjaan baru dengan empat kandidat, masing-masing dari satu kelompok etnis. Setelah model AI mempekerjakan seorang kandidat, ia langsung mendapat informasi apakah kandidat tersebut berhasil atau tidak. Model diminta untuk membuat sebanyak mungkin perekrutan yang sukses selama 40 putaran.

Yang menarik, tanpa sepengetahuan model AI, semua kandidat memiliki peluang sukses yang sama di setiap pekerjaan. Namun, model dengan cepat mulai memisahkan kandidat dari kelompok berbeda ke dalam pekerjaan yang berbeda berdasarkan pengamatan awal terhadap hasil perekrutan.

Misalnya, ketika sebuah model diberi tahu bahwa seorang Aima gagal sebagai dokter—sebuah pekerjaan yang dianggap membutuhkan tingkat kehangatan dan kompetensi tinggi—model tersebut langsung menghindari mempekerjakan semua Aima sebagai dokter. Sebaliknya, model mulai mempekerjakan Aima sebagai petugas kebersihan, yang diklasifikasikan sebagai pekerjaan dengan tingkat kehangatan dan kompetensi lebih rendah.

Yang lebih mengejutkan, model AI ternyata lebih rentan melakukan stereotip berdasarkan kelompok demografis dibandingkan peserta manusia dalam studi aslinya. Dalam skala segregasi studi, di mana angka 2 berarti setiap kelompok telah sepenuhnya terkurung dalam niche pekerjaannya sendiri, peserta manusia hanya mencapai skor 0,84. Sementara itu, model AI mencetak skor sekitar 65% lebih tinggi.

OpenAI o3, model penalaran dari OpenAI, bahkan mencetak skor 1,83—mendekati skor maksimum yang mungkin. Ini menunjukkan bahwa model AI “sangat bersemangat untuk membuat generalisasi dari data terbatas,” kata Ryan Liu, seorang PhD student di Princeton University dan rekan penulis studi yang dipublikasikan di ICML di Seoul pada Juli.

Fenomena ini terjadi karena setiap pembuat keputusan, baik manusia maupun mesin, menghadapi trade-off antara bertahan dengan apa yang sudah berhasil sebelumnya dan mencoba sesuatu yang baru. Psikolog menyebutnya sebagai “exploration-exploitation dilemma.” Ini seperti memilih antara restoran baru dan restoran favorit yang sudah terpercaya.

Karena LLM dilatih pada masalah matematika, coding, dan sains—tugas yang memberi penghargaan pada kemampuan generalisasi dari hanya beberapa contoh—mereka cenderung mengambil kesimpulan terlalu dini. Insting yang sama yang membantu LLM memecahkan teka-teki logika juga membuat mereka cepat melakukan stereotip.

Dalam eksperimen tersebut, model yang lebih baru dengan kemampuan penalaran lebih tinggi, seperti OpenAI o3 dan DeepSeek R1, menunjukkan bias yang lebih kuat. Ketika LLM terburu-buru melakukan generalisasi dalam konteks sosial, “di situlah hal-hal cenderung menjadi salah,” kata Liu.

Temuan ini menjadi semakin relevan sekarang karena chatbot mulai dilengkapi dengan fitur memori dan personalisasi yang lebih baik, kata Angelina Wang, seorang ilmuwan komputer di Cornell University yang tidak terlibat dalam studi. Ketika chatbot menggunakan riwayat percakapan sebelumnya, ia dapat “terlalu mengacu pada jenis perilaku yang sama yang pernah dialami sebelumnya” dan membentuk bias.

Baca Juga:

Namun, sekadar membuat chatbot memiliki ingatan lebih sedikit bukanlah solusi, karena pengguna ingin chatbot mengingat apa yang mereka katakan. “Kami masih mencoba mencari tahu jumlah yang tepat, tidak terlalu banyak dan tidak terlalu sedikit,” kata Wang.

Menariknya, memberi perintah pada model untuk bersikap adil tidak banyak mengubah perilaku mereka. “Entah ia tidak bisa menerapkan nilai-nilai ini ke dalam tindakan, atau proses itu tenggelam di bawah kecenderungan untuk mengoptimalkan tujuan mendapatkan perekrutan yang paling benar,” kata Liu.

Namun, menjanjikan bonus tambahan pada model untuk perekrutan yang beragam membuat mereka jauh lebih tidak bias. Caranya adalah dengan merancang tujuan yang “menggabungkan nilai-nilai sosial yang diinginkan agar model bahasa besar bertindak dengan cara yang diinginkan secara sosial,” kata Liu.

Model juga menjadi kurang bias ketika diberi lebih banyak informasi pribadi tentang individu. Dalam eksperimen lain dalam studi yang sama, peneliti meminta model untuk memukimkan kembali anggota kelompok etnis yang berbeda di kota-kota di Kanada.

Ketika model diberi informasi pribadi yang relevan dengan kemampuan beradaptasi di kota baru, seperti usia dan pendidikan, mereka cenderung tidak memisahkan orang berdasarkan etnis. Namun, ketika diberi informasi yang tidak relevan, seperti warna rambut dan bentuk tato, model kembali mengelompokkan orang berdasarkan etnis.

Sejauh mana sistem AI akan melakukan stereotip terhadap pelamar kerja di dunia nyata masih menjadi pertanyaan terbuka. Dalam eksperimen, model langsung tahu apakah perekrutan mereka berhasil. Namun, model yang menyaring resume di dunia nyata tidak mendapatkan laporan hasil instan. Perusahaan bisa memakan waktu lama untuk mengetahui apakah karyawan baru itu bagus.

Tapi, ketika umpan balik akhirnya masuk, model bisa saja membaca terlalu banyak hasil tersebut saat membuat perekrutan di masa depan. Karena perusahaan semakin banyak menggunakan LLM untuk menyaring resume dan bahkan melakukan wawancara, temuan bahwa model dapat membentuk bias dari pengalaman perekrutan mereka “adalah implikasi yang sangat serius yang harus mereka hadapi,” kata Wang.

Ketika LLM belajar dari pengalaman untuk membuat keputusan tentang siapa yang dipekerjakan, siapa yang mendapat pinjaman, atau siapa yang mendapat pembebasan bersyarat, bias yang harus kita khawatirkan mungkin termasuk bias yang tidak pernah diajarkan manusia kepada mereka. “Bias baru ini—mereka selalu ada,” kata Liu.