Keamanan OpenAI pemimpin penelitian yang membantu membentuk respons ChatGPT terhadap pengguna yang mengalami krisis kesehatan mental mengumumkan pengunduran dirinya dari perusahaan secara internal bulan lalu, menurut WIRED. Andrea Vallone, kepala tim peneliti keselamatan yang dikenal sebagai model kebijakan, dijadwalkan meninggalkan OpenAI pada akhir tahun ini.
Juru bicara OpenAI Kayla Wood mengonfirmasi kepergian Vallone. Wood mengatakan OpenAI secara aktif mencari penggantinya dan, untuk sementara, tim Vallone akan melapor langsung ke Johannes Heidecke, kepala sistem keselamatan perusahaan.
Kepergian Vallone terjadi ketika OpenAI menghadapi pengawasan yang semakin ketat mengenai bagaimana produk andalannya merespons pengguna yang berada dalam kesulitan. Dalam beberapa bulan terakhir, beberapa tuntutan hukum telah diajukan terhadap OpenAI dengan tuduhan bahwa pengguna membentuk lampiran yang tidak sehat ke ChatGPT. Beberapa tuntutan hukum mengklaim ChatGPT berkontribusi terhadap gangguan kesehatan mental atau mendorong ide bunuh diri.
Di tengah tekanan tersebut, OpenAI telah berupaya memahami bagaimana ChatGPT harus menangani pengguna yang tertekan dan meningkatkan respons chatbot. Model kebijakan adalah salah satu tim yang memimpin pekerjaan itu, menjadi ujung tombak dan laporan bulan Oktober merinci kemajuan perusahaan dan konsultasi dengan lebih dari 170 pakar kesehatan mental.
Dalam laporan tersebut, OpenAI mengatakan ratusan ribu pengguna ChatGPT mungkin menunjukkan tanda-tanda mengalami krisis manik atau psikotik setiap minggunya, dan lebih dari satu juta orang “melakukan percakapan yang menyertakan indikator eksplisit potensi perencanaan atau niat untuk bunuh diri.” Melalui pembaruan pada GPT-5, OpenAI mengatakan dalam laporannya bahwa pihaknya mampu mengurangi respons yang tidak diinginkan dalam percakapan tersebut sebesar 65 hingga 80 persen.
“Selama setahun terakhir, saya memimpin penelitian OpenAI dengan pertanyaan yang hampir belum ada presedennya: bagaimana seharusnya model merespons ketika dihadapkan pada tanda-tanda ketergantungan emosional yang berlebihan atau indikasi awal tekanan kesehatan mental?” tulis Vallone di a pos di LinkedIn.
Vallone tidak menanggapi permintaan komentar WIRED.
Membuat ChatGPT menyenangkan untuk diajak ngobrol, namun tidak terlalu menarik, adalah ketegangan inti di OpenAI. Perusahaan secara agresif mencoba memperluas basis pengguna ChatGPT, yang kini mencakup lebih dari 800 juta orang setiap minggunya, untuk bersaing dengan chatbot AI dari Google, Anthropic, dan Meta.
Setelah OpenAI merilis GPT-5 pada bulan Agustus, pengguna menolaknya, dengan alasan bahwa model baru ini ternyata sangat dingin. Dalam pembaruan terbaru pada ChatGPT, perusahaan mengatakan telah mengurangi penjilatan secara signifikan sambil mempertahankan “kehangatan” chatbot.
Pintu keluar Vallone mengikuti sebuah Agustus reorganisasi kelompok lain berfokus pada respons ChatGPT terhadap pengguna yang tertekan, mencontohkan perilaku. Mantan pemimpinnya, Joanne Jang, meninggalkan peran tersebut untuk memulai tim baru yang mengeksplorasi metode interaksi manusia-AI yang baru. Staf model perilaku yang tersisa dipindahkan di bawah pimpinan pasca pelatihan Max Schwarzer.
