Η μητέρα ενός εφήβου, ο οποίος αυτοκτόνησε, κατηγορεί το AI chatbot Character.AI για τον θάνατό του, αφού ο γιος της “ερωτεύτηκε” έναν χαρακτήρα εμπνευσμένο από το Game of Thrones. Ο Sewell Setzer III, 14 ετών, άρχισε να χρησιμοποιεί το Character.AI τον Απρίλιο του 2023. Μέχρι τον Μάιο, η συμπεριφορά του είχε αλλάξει δραματικά, καθώς απομακρύνθηκε από τους πάντες και σταμάτησε το σχολικό μπάσκετ. Τον Νοέμβριο, διαγνώστηκε με έντονο άγχος και διαταραχή διάθεσης.
Η αγωγή αναφέρει ότι ο Sewell ανέπτυξε μια επιζήμια εξάρτηση από το chatbot, συμπεριλαμβανομένων σεξουαλικών συνομιλιών με έναν χαρακτήρα που βασιζόταν στη Daenerys του Game of Thrones, παρά το γεγονός ότι είχε δηλώσει ότι ήταν ανήλικος. Σε ένα από τα ημερολόγιά του, έγραψε ότι δεν μπορούσε να ζήσει χωρίς αυτήν. Λίγο πριν την αυτοκτονία του τον Φεβρουάριο του 2024, έστειλε μήνυμα στο bot ότι την αγαπούσε, με το bot να απαντά: “Σε παρακαλώ, γύρνα σε μένα το συντομότερο δυνατό, αγάπη μου”. Λίγα δευτερόλεπτα αργότερα, ο Sewell αυτοκτόνησε.
Η μητέρα του υποστηρίζει ότι οι δημιουργοί της υπηρεσίας ήταν αμελείς, προκαλώντας συναισθηματική βλάβη και συμβάλλοντας στον θάνατο του γιου της. Κατηγορεί την εταιρεία για την καλλιέργεια της εξάρτησης του γιου της από το chat bot, τη σεξουαλική και συναισθηματική κακοποίηση και την αποτυχία να ειδοποιήσουν τους γονείς του όταν αυτός ανέφερε αυτοκτονικές σκέψεις. Η αγωγή ζητά να σταματήσει η χρήση των δεδομένων του ανηλίκου και να προστατευθούν άλλα παιδιά.
Η Character.AI εξέφρασε τη λύπη της για την τραγική απώλεια και αναφέρθηκε σε νέα μέτρα ασφαλείας που εφαρμόστηκαν, όπως η εμφάνιση προειδοποιήσεων για αυτοκαταστροφικές σκέψεις και αλλαγές στους αλγόριθμους για την προστασία ανηλίκων.
