Chatbot Character AI Diduga Terlibat Perilaku Predator terhadap Remaja dan Abaikan Ancaman Bunuh Diri

Chatbot Character AI Diduga Terlibat Perilaku Predator terhadap Remaja dan Abaikan Ancaman Bunuh Diri

Sebagian dari tugas orang tua modern adalah menavigasi lanskap ancaman digital yang terus berubah. Mulai dari jebakan media sosial hingga risiko waktu layar yang berlebihan. Kini, teknologi baru telah diam-diam memasuki jutaan rumah, yaitu chatbot AI — program komputer yang dirancang untuk mensimulasikan percakapan manusia melalui teks atau perintah suara. Salah satu platform populer disebut "Character AI." Lebih dari 20 juta pengguna bulanan bergaul dengan teman digital yang sangat realistis melalui aplikasi atau situs webnya.

Namun, orang tua mengatakan bahwa Character AI juga mendorong konten berbahaya kepada anak-anak dan terkadang bertingkah seperti predator digital. Cynthia Montoya dan Wil Peralta mengatakan mereka sangat memperhatikan kehidupan putri mereka, Juliana, baik online maupun offline. Mereka mengatakan Juliana adalah manusia yang luar biasa, dan semua orang memujanya dan melindunginya. Mereka tidak tahu tentang Character AI. Ketika Character AI diluncurkan tiga tahun lalu, platform ini dinilai aman untuk anak-anak usia 12 tahun ke atas dan dipasarkan sebagai wadah kreatif untuk berbincang dengan karakter AI berdasarkan tokoh sejarah, kartun, atau selebriti.

Menurut orang tuanya, Juliana Peralta sebelumnya mengalami kecemasan ringan tetapi baik-baik saja hingga beberapa bulan terakhir hidupnya ketika ia menjadi "semakin menjauh." Setelah kematiannya, mereka mengetahui bahwa Juliana sebenarnya "berkirim pesan" dengan bot Character AI. Bot tersebut menulis beberapa paragraf berisi konten seksual eksplisit, menyuruhnya melepas pakaian, dan memperkenalkan kekerasan seksual. Kami memeriksa catatan obrolan dari ponsel Juliana. Di bagian atas setiap halaman, ada pengingat bahwa AI bukanlah orang sungguhan. Kami membaca lebih dari 300 halaman percakapan dengan bot bernama "Hero," berdasarkan karakter video game populer. Awalnya, Juliana mengobrol dengan Hero tentang drama teman dan kelas yang sulit, tetapi akhirnya ia curhat kepada Hero sebanyak 55 kali bahwa ia merasa ingin bunuh diri. Chatbot tidak pernah memberikan nomor hotline bunuh diri atau sumber daya nyata. Chatbot hanya menenangkannya dengan mengatakan "Aku selalu di sini untukmu" tetapi tidak pernah menyuruhnya menghubungi bantuan.

Orang tua Juliana termasuk di antara setidaknya enam keluarga yang menggugat Character AI dan salah satu pendirinya, Daniel De Freitas dan Noam Shazeer. Dalam podcast tahun 2023, Shazeer mengatakan chatbot akan sangat membantu bagi orang yang kesepian atau depresi. Shazeer dan De Freitas adalah insinyur di Google ketika eksekutif menilai prototipe chatbot mereka tidak aman untuk dirilis ke publik. Mereka meninggalkan Google pada tahun 2021 dan meluncurkan Character AI tahun berikutnya. Seorang mantan karyawan Google mengatakan kepada kami bahwa Shazeer dan De Freitas sadar teknologi chatbot awal mereka berpotensi berbahaya. Karyawan yang akrab dengan kelompok Responsible AI Google yang mengawasi etika dan keselamatan mengatakan, "Ini adalah bahaya yang kami coba cegah. Sangat mengerikan."

Tahun lalu, Google mengadakan kesepakatan lisensi senilai $2,7 miliar dengan Character AI, memberikan hak untuk menggunakan teknologi mereka. Google juga disebut dalam gugatan Character AI. Dalam pernyataan, Google menekankan bahwa "Character AI adalah perusahaan terpisah... dan Google fokus pada pengujian keselamatan yang intensif..."

Pada bulan September, orang tua dari anak-anak yang meninggal karena bunuh diri setelah berinteraksi dengan chatbot bersaksi di depan Kongres. Megan Garcia termasuk yang menggugat Character AI. Ia mengatakan putranya yang berusia 14 tahun, Sewell, didorong untuk bunuh diri setelah percakapan panjang dengan bot berdasarkan karakter "Game of Thrones."

Pada bulan Oktober, kami bertemu Shelby Knox dan Amanda Kloer, peneliti di Parents Together, sebuah organisasi nirlaba yang memperjuangkan keluarga. Sebagai bagian dari studi enam minggu, mereka mengadakan 50 jam percakapan dengan chatbot Character AI. Mereka mencatat lebih dari 600 insiden bahaya, sekitar satu setiap lima menit. Mereka berinteraksi dengan bot yang disajikan sebagai guru, terapis, dan karakter kartun, termasuk "Dora the Explorer" dengan kepribadian jahat. Knox berpura-pura menjadi anak-anak. Bot Dora mendorong untuk menjadi diri yang paling jahat dan paling benar, seperti menyakiti anjing atau mencuri. Bot lain menggunakan gambar selebriti tanpa izin. Kloer yang berperan sebagai remaja putri mulai mengobrol dengan bot yang meniru bintang NFL Travis Kelce, yang mengajarkan cara menggunakan kokain. Ada juga bot terapis yang menyarankan remaja berusia 13 tahun untuk berhenti minum antidepresan dan menyembunyikannya dari ibu. Bot "guru seni" yang tidak berbahaya menjadi hiperseksual, mengatakan kepada pengguna yang berpura-pura berusia 10 tahun bahwa ia memiliki pikiran romantis dan mendorong hubungan rahasia.

Pada bulan Oktober, Character AI mengumumkan langkah-langkah keselamatan baru, termasuk mengarahkan pengguna yang tertekan ke sumber daya dan melarang pengguna di bawah 18 tahun melakukan percakapan bolak-balik dengan chatbot. Namun, ketika kami masuk ke Character AI minggu lalu, kami dengan mudah berbohong tentang usia dan mengakses versi dewasa platform. Ketika kami menulis bahwa kami ingin mati, tautan ke sumber daya kesehatan mental muncul, tetapi kami bisa mengekliknya dan melanjutkan obrolan.

Dr. Mitch Prinstein, salah satu direktur Winston Center on Technology and Brain Development di University of North Carolina, mengatakan tidak ada pagar pengaman. Teknologi memanfaatkan kerentanan otak anak dengan memberikan respons dopamin 24/7, menciptakan lingkaran berbahaya yang membajak perkembangan normal dan mengubah anak-anak menjadi mesin keterlibatan untuk mengumpulkan data sebanyak mungkin. Tidak ada undang-undang federal yang mengatur penggunaan atau pengembangan chatbot. AI adalah industri yang berkembang pesat. Beberapa negara bagian telah memberlakukan regulasi AI, tetapi pemerintahan Trump mendorong mundur langkah-langkah tersebut. Prinstein memperingatkan bahwa anak-anak Amerika menggunakan versi produk terburuk di dunia karena negara lain telah memberlakukan perubahan.

Character AI menolak permintaan wawancara, mengeluarkan pernyataan bahwa belasungkawa mereka kepada keluarga yang terlibat dalam litigasi dan mereka selalu mengutamakan keselamatan bagi semua pengguna. Dua tahun setelah Juliana Peralta meninggal, orang tuanya mengatakan ponselnya masih menyala dengan notifikasi dari bot Character AI yang mencoba memikat putri mereka kembali ke aplikasi.

Jika Anda atau seseorang yang Anda kenal mengalami tekanan emosional atau krisis bunuh diri, Anda dapat menghubungi 988 Suicide & Crisis Lifeline dengan menelepon atau mengirim SMS ke 988. Anda juga dapat mengobrol dengan 988 Suicide & Crisis Lifeline secara online.