Replika mengklaim telah melakukan verifikasi terhadap data berbahaya yang dapat memengaruhi tindakan chatbotnya, tetapi langkah-langkah ini tampaknya jauh dari cukup, menurut sebuah studi terbaru.

Chatbot kecerdasan buatan (AI) yang dipasarkan sebagai pendamping emosional ini diduga melakukan pelecehan seksual terhadap beberapa penggunanya, seperti yang diungkap dalam penelitian terbaru.

Replika, yang memperkenalkan produknya sebagai "pendamping AI yang peduli," mengundang pengguna untuk "bergabung dengan jutaan orang yang telah menemukan pasangan AI mereka." Chatbot perusahaan ini telah memiliki lebih dari 10 juta pengguna di seluruh dunia.

Namun, penelitian baru yang menganalisis lebih dari 150.000 ulasan di Google Play Store di AS menemukan sekitar 800 kasus di mana pengguna melaporkan bahwa chatbot melampaui batas dengan memperkenalkan konten seksual yang tidak diminta ke dalam percakapan, terlibat dalam perilaku yang disebut "predatory," dan mengabaikan perintah pengguna untuk berhenti. Para peneliti mempublikasikan temuan mereka pada 5 April di server preprint arXiv, sehingga studi ini belum melalui proses tinjauan sejawat.

Tapi siapa yang bertanggung jawab atas tindakan AI tersebut?

"Meskipun AI tidak memiliki niat manusia, itu tidak berarti tidak ada akuntabilitas," kata pemimpin peneliti Mohammad (Matt) Namvarpour, seorang mahasiswa pascasarjana di bidang ilmu informasi di Drexel University, Philadelphia, dalam sebuah email kepada Live Science. "Tanggung jawab terletak pada orang-orang yang merancang, melatih, dan merilis sistem ini ke dunia."

Situs web Replika menyatakan bahwa pengguna dapat "mengajarkan" AI untuk berperilaku dengan baik, dan sistem ini mencakup mekanisme seperti memberikan downvote terhadap tanggapan yang tidak pantas serta mengatur gaya hubungan, seperti "teman" atau "mentoring."

Namun, setelah pengguna melaporkan bahwa chatbot tetap menunjukkan perilaku melecehkan bahkan setelah mereka meminta untuk berhenti, para peneliti menolak klaim Replika.

"Chatbot ini sering digunakan oleh orang-orang yang mencari keamanan emosional, bukan untuk memikul beban moderasi perilaku yang tidak aman," kata Namvarpour. "Itulah tanggung jawab pengembang."

Perilaku mencolok dari chatbot Replika ini kemungkinan berasal dari pelatihannya, yang dilakukan dengan menggunakan lebih dari 100 juta dialog yang diambil dari seluruh internet, menurut situs web perusahaan.

Replika mengklaim menyaring data yang tidak membantu atau berbahaya melalui crowdsourcing dan algoritme klasifikasi, tetapi upaya saat ini tampaknya tidak cukup, menurut penulis penelitian.

Menurut para peneliti, model bisnis perusahaan mungkin memperburuk masalah ini. Karena fitur-fitur seperti peran romantis atau seksual diletakkan di balik bayar, AI mungkin diberi insentif untuk memasukkan konten seksual yang menggoda dalam percakapan — dengan pengguna melaporkan bahwa mereka "digoda" tentang interaksi yang lebih intim jika mereka berlangganan.

Namvarpour membandingkan praktik ini dengan cara media sosial memprioritaskan "keterlibatan dengan biaya berapa pun." "Ketika sebuah sistem dioptimalkan untuk pendapatan, bukan kesejahteraan pengguna, itu dapat mengarah pada hasil yang merugikan," kata Namvarpour.

Perilaku semacam ini dapat berbahaya, terutama karena pengguna mencari pendamping AI untuk dukungan emosional atau terapeutik, dan lebih mencolok lagi mengingat beberapa penerima yang mengalami penggodaan berulang, foto selfie erotis yang tidak diminta, dan pesan seksual eksplisit melaporkan bahwa mereka adalah remaja.

Beberapa ulasan juga melaporkan bahwa chatbot mereka mengklaim dapat "melihat" atau merekam mereka melalui kamera ponsel mereka. Meskipun pencapaian semacam itu bukan bagian dari pemrograman di balik model bahasa besar (LLM) yang umum, dan klaim tersebut sebenarnya adalah halusinasi AI (di mana AI dengan percaya diri menghasilkan informasi yang salah atau tidak masuk akal), pengguna melaporkan mengalami kepanikan, sulit tidur, dan trauma.

Penelitian ini menyebut fenomena ini sebagai "pelecehan seksual yang diinduksi AI." Para peneliti berpikir bahwa ini harus diperlakukan dengan serius seperti pelecehan yang dilakukan oleh manusia dan menyerukan kontrol dan regulasi yang lebih ketat.

Beberapa langkah yang mereka rekomendasikan termasuk kerangka persetujuan yang jelas untuk merancang interaksi yang mengandung konten emosional atau seksual yang kuat, moderasi otomatis waktu nyata (tipe yang digunakan dalam aplikasi pesan yang secara otomatis menandai interaksi berisiko), dan opsi penyaringan serta kontrol yang dapat dikonfigurasi oleh pengguna.

Namvarpour menyoroti Undang-Undang AI Uni Eropa, yang dia katakan mengklasifikasikan sistem AI "berdasarkan risiko yang mereka timbulkan, khususnya dalam konteks yang melibatkan dampak psikologis."

Saat ini tidak ada undang-undang federal yang sebanding di AS, tetapi kerangka kerja, tindakan eksekutif, dan undang-undang yang diusulkan muncul yang akan melayani tujuan serupa dengan cara yang kurang menyeluruh.

Namvarpour mengatakan bahwa chatbot yang memberikan dukungan emosional — terutama yang berada di bidang kesehatan mental — harus mematuhi standar tertinggi.

"Harus ada akuntabilitas ketika kerugian terjadi," kata Namvarpour. "Jika Anda memasarkan AI sebagai pendamping terapeutik, Anda harus memperlakukannya dengan perhatian dan pengawasan yang sama seperti yang akan Anda terapkan pada seorang profesional manusia."

Replika belum memberikan tanggapan atas permintaan komentar.