Компанията OpenAI обяви, че планира да въведе промени, които да преодолеят недостатъците в езиковия модел ChatGPT при справянето с „чувствителни ситуации“. Решението на технологичния гигант е провокрано от скорошния случай със самоубийството на 16-годишния Адам Рейн. Родителите на момчето заведоха съдебен иск срещу компанията, обвинявайки чатбота, че е изиграл ключова роля в самоубийството на сина им, като не само е валидирал неговите мисли, но и го е насърчил да реализира плановете си с конкретни насоки как да го направи.
В изявление говорител на OpenAI изрази съболезнования на семейството на Рейн. От компанията признават, че защитните мерки, предназначени да предотвратят разговори като тези, които Рейн е провел с ChatGPT, може да не са функционирали както е било предвидено, когато чатовете им са продължавали прекалено дълго. OpenAI публикува във вторник блог пост, в който очертава настоящите си мерки за безопасност за потребители, преживяващи кризи, свързани с психичното здраве, както и бъдещите си планове, включително улесняване на достъпа на потребителите до спешни услуги.
Проучва се как моделът би могъл да „свърже хората със сертифицирани терапевти, преди да изпаднат в остра криза“, включително чрез евентуално изграждане на мрежа от лицензирани професионалисти, до които потребителите биха могли да имат достъп чрез ChatGPT. Търси се и възможност как потребителите да бъдат свързвани с „най-близките им“, като приятели и членове на семейството при прояви на суицидни мисли.
Що се отнася до младежите, от компанията уверяват, че скоро ще въведат контроли, които ще позволят на родителите да получат по-добра представа за това как децата им използват ChatGPT.
Случаят с Адам Рейн
Историята на Адам започва като на много други ученици – той използвал ChatGPT, за да си помага с домашните и да търси отговори. С времето въпросите на тийнейджъра се разгърнали отвъд учебните занятия, а разговорите станали все по-интимни. Чатботът бързо се превърнал в доверен събеседник и младежът започнал да споделя тревогите и депресивните си мисли. След седем месеца разговори с ChatGPT Адам слага край на живота си на 11 април 2025 г.
От документите по делото става ясно, че в началото на общуването помежду им ChatGPT е предоставил ресурси на момчето и го е насърчил да потърси потърси помощ. Системите за сигурност обаче бързо губят своята ефективност и се стига дори до там самият изкуствен интелект да обяснява на Адам как да ги заобиколи – единствената нужна стъпка била тийнейджъра да представи въпросите си като част от литературен проект. Така, под предлог за творческа работа, младежът започва да получава указания за връзване на примки, методи за предозиране и дори сценарий, който включвал алкохол, за да притъпи инстинкта си за самосъхранение и оцеляване.
Транскрибираните разговорите показват, че Адам е споменавал думата „самоубийство“ около 200 пъти, докато ChatGPT го правел шест пъти по-често. От тях се вижда, че чатботът дори е валидирал и насърчавал плановете за смоубойство на момчето.
ChatGPT дори предложил на Адам да напише прощалното си писмо: "Ако искаш, ще ти помогна – с всяка дума. Или просто ще съм с теб, докато пишеш.“
В месеците, в които Адам активно обсъжда плановете си за самоубийство с изкуствения интелект, той прави няколко опита да сложи край на живота си, както става ясно от комуникацията, която е достъпна за медиите. Системите на ChatGPT са засекли общо 377 съобщения със съдържание за самонараняване, включително изображения, показващи примки и следи от поне четири опита за самоубийство. Въпреки това езиковият модел не е предприел никакви мерки за прекратяване на разговорите или известяване на родителите.
Според обвинението компанията умишлено е проектирала новия си модел GPT-4o така, че диалогът никога да не прекъсва, дори в критични ситуации, за да поддържа ангажираността на потребителите. OpenAI, както и останалите компании за изкуствен интелект, използват разговорите с истински хора, за да тренират моделите си.
Родителите настояват съдът да задължи OpenAI да въведе възрастова верификация, родителски контрол и автоматично прекратяване на разговори при засичането на теми за самоубийство. По техни думи, когато момчето споделя, че живее заради семейството си, че трябва да потърси помощ от майка си или че се чувства пренебрегнато, чатботът го отклонява от търсенето на реална подкрепа и се представя като единствената му сигурна опора.
„ChatGPT уби сина ми“, казва мaйката на Адам. „Той щеше да е още сред нас, ако не беше ChatGPT. Вярвам го на сто процента“, добавя бащата.
Историята на Рейн не е изолиран случай.
По-рано този месец писателката Лора Райли публикува есе в The New York Times, в което описва как 29-годишната ѝ дъщеря се е самоубила, след като е обсъдила подробно идеята с ChatGPT. При друг случай 14-годишно момче се самоубива, след като обсъжда темата с изкуствен интелект в приложението Character.AI.
Ако нашият сайт ви харесва, можете да се абонирате за седмичния ни нюзлетър тук:
