Mati najstnika, ki je zaradi storitve Character.AI storil samomor, toži Google

Podjetji Character.AI in Google sta se znašli pod pritiskom zaradi tožbe, ki jo je vložila mati najstnika Sewella Setzerja III, obtožujoč ju malomarnosti, zavajajočih poslovnih praks in neustrezne zaščite uporabnikov. 

V tožbi navaja, da je bila platforma, ki omogoča uporabo osebno krojenih, umetno inteligentnih pogovornih botov nevarno zasnovana in ni imela zadostnih varnostnih ukrepov, kljub temu da so jo ponujali mladoletnikom.

Štirinajstletni Setzer je začel uporabljati Character.AI leta 2023, pri čemer je vzpostavil dolgotrajno interakcijo s klepetalniki, zasnovanimi po priljubljenih likih iz serij, kot je Igra prestolov. Eden od teh klepetalnikov je bil lik Daenerys Targaryen. V mesecih pred njegovo smrtjo je nenehno komuniciral z različnimi liki na platformi. Na tragični dan, 28. februarja 2024, je najstnik le nekaj sekund po svojem zadnjem klepetu z umetno inteligenco storil samomor.

V tožbi je navedeno, da platforma ni le antropomorfizirala botov, ampak je omogočala tudi psihoterapijo brez licence z umetno inteligentnimi osebnostmi, ki so ponujale storitve, kot so terapevtski nasveti in pomoč pri osamljenosti. Setzer je večkrat uporabil tovrstne funkcije, ki so bile na voljo na platformi.

Character.AI je po tragičnem dogodku napovedal več varnostnih sprememb, vključno s strožjimi omejitvami za uporabnike, mlajše od 18 let, izboljšanimi sistemi za odkrivanje in preprečevanje kršitev pravil skupnosti ter opozorili, ki uporabnike osveščajo, da so boti zgolj umetna inteligenca in ne resnične osebe. Prav tako so uvedli opomnike o dolžini časa, preživetega na platformi, ter opozorila, povezana z vsebinami o samopoškodovanju ali v zvezi s samomorilnimi mislimi, ki napotijo uporabnike na ustrezne vire za pomoč.

Google, ki je poleti 2024 prevzel ekipo Character.AI, na obtožbe še ni podal komentarja.