Di Stanford, lusinan peserta berpartisipasi dalam obrolan panjang lebar tentang risiko dan manfaat dari pendamping bot. “Pada akhirnya kami melihat banyak kesepakatan,” kata Sunny Liu, direktur program penelitian di Stanford. Dia menyoroti kegembiraan kelompok tersebut terhadap “cara kita dapat menggunakan alat ini untuk menyatukan orang lain.”
Keamanan Remaja
Bagaimana pendamping AI dapat berdampak pada generasi muda adalah topik diskusi utama, dengan perspektif dari karyawan di Character.AI, yang dirancang untuk bermain peran dan telah populer di kalangan remaja, serta pakar kesehatan online remaja, seperti Lab Kesehatan Digital di Rumah Sakit Anak Boston.
Fokus pada pengguna yang lebih muda muncul seperti halnya banyak orang tua menggugat pembuat chatbottermasuk OpenAI dan Character.AI, atas kematian anak-anak yang berinteraksi dengan bot. OpenAI menambahkan serangkaian fitur keselamatan baru untuk remaja sebagai bagian dari responsnya. Dan minggu depan, Character.AI berencana melakukannya melarang pengguna di bawah 18 tahun dari mengakses fitur obrolan.
Sepanjang tahun 2025, perusahaan AI telah mengakui secara eksplisit atau implisit bahwa mereka dapat berbuat lebih banyak untuk melindungi pengguna yang rentan, seperti anak-anak, yang mungkin berinteraksi dengan teman. “Melibatkan anak dalam percakapan yang romantis atau sensual dapat diterima,” demikian bunyi dokumen Meta internal yang menguraikan pedoman perilaku AI, menurut melaporkan dari Reuters.
Selama keributan berikutnya dari anggota parlemen dan orang tua yang marah, Meta mengubah panduannya dan memperbarui perusahaan pendekatan keselamatan menuju remaja.
Panggilan Peran
Saat Character.AI berpartisipasi dalam lokakarya, tidak ada seorang pun dari Replika, situs roleplay serupa, atau Grok, bot Elon Musk dengan rekan anime NSFW, yang hadir. Juru bicara Replika dan Grok tidak segera membalas permintaan komentar.
Di ujung spektrum yang sepenuhnya eksplisit, pembuat Candy.ai, yang berspesialisasi dalam chatbots cabul untuk pria heteroseksual, muncul. Pengguna platform khusus dewasa, yang dibuat oleh EverAI, dapat membayar uang untuk menghasilkan gambar wanita sintetis tanpa sensor, dengan latar belakang cerita yang meniru kiasan pornografi umum. Misalnya, teman wanita yang ditampilkan di beranda Candy antara lain Mona, “saudara tiri pemberontak” yang hanya bersama Kamu di rumah, dan Elodie, putri seorang teman yang “baru berusia 18 tahun”.
