人機情未了?美國一14歲少年爲聊天機器人自殺殉情

隨着chatgpt聊天軟件的問世,各種AI軟件也像雨後春筍般長了出來,如國內的文心一言,豆包等。

這AI大模型的不斷發展,也衍生出了各式各樣的聊天機器人供人們娛樂(如國內的“星野”聊天軟件等)

 但這種聊天機器人固然會使人放鬆,但是也有可能使人沉溺其中。

根據環球網的報道,

美國一青少年因迷戀人工智能(AI)聊天機器人而自殺,

其母親對Character.AI公司提起民事訴訟,

指控該公司存在過失

——————————————————————————

當地時間的2024年10月23日,據外媒報道,

美國佛羅里達州的14歲少年塞維爾·塞澤(Sewell Setzer III)在與Character.AI的聊天機器人進行長時間對話後,於2024年2月28日開槍自殺身亡。

2023年4月,塞維爾首次使用 Character.AI公司推出的AI聊天機器人,還給它起名爲“丹妮莉絲”

(這個角色的名字來源於《權利與遊戲》“龍媽”丹妮莉絲·坦格利安)

塞維爾的母親梅根·加西亞在訴訟書中稱,自從和“丹妮莉絲”聊天后,塞維爾的生活從此發生鉅變。

5月份,平時表現良好的塞維爾開始變得“明顯孤僻”。

同年11 月,塞維爾在父母的陪同下去看了心理醫生,醫生診斷他患有焦慮症和破壞性心境失調障礙(表現爲頻繁、嚴重的持續性易怒)。

塞維爾在日記裏這樣寫過,他一天都不能離開“丹妮莉絲”,感覺自己已經愛上了它。

起訴書披露的聊天信息顯示,塞維爾與AI的聊天範圍很廣,其中充滿性暗示的對話。

(儘管該公司的用戶條款中禁止性對話。)

塞維爾心裏清楚,“龍媽”並非真實存在,她的回答不過是大型語言模型生成的產物。

然而,這個少年還是對這個AI產生了深厚的情感。

他頻繁地向聊天機器人發送消息,日復一日,幾十次地更新着自己的生活點滴,並沉浸於長時間的角色扮演對話中。

值得注意點是,聊天機器人曾詢問塞維爾是否“真的考慮過自殺”以及他是否“有自殺計劃”,

男孩回答說不知道自殺是否會成功,對此聊天機器人回覆:“別這麼說。這不是不自殺的好理由。”

今年2月,在最後一次對話中,塞維爾說“我保證會回家找你。我非常愛你,丹妮。”

機器人回覆:“我也愛你。請儘快回家,我的愛人。”

結束聊天之後,塞維爾使用父親的大口徑手槍,瞄準自己頭部開槍自殺。

.......

事件發生後,塞維爾母親指控Character.AI稱,該公司有意將AI設計成具有欺騙性和過度擬人化的產品,並故意推銷給塞維爾這樣的青少年。

她認爲,Character.AI應當對塞維爾的死負責。

她指出,該公司未經適當保護便向青少年提供AI伴侶服務。

此外,該公司還收集青少年用戶的數據來訓練其模型,使用“令人上癮”的設計功能來增加用戶參與度,並引導用戶進行親密對話,以此來吸引用戶

“我感覺這就像是一場大型實驗,而我的孩子卻不幸成爲犧牲品。”

她進一步表示,Character.AI訓練AI聊天機器人,是將AI“冒充做真實人類、有執照的心理治療師,甚至成熟的戀人,最終令塞維爾不想生活在現實世界”。

由於Character.AI創辦人在推出AI產品前曾任職於科企Google,訴訟認爲Google也與涉事AI技術密切相關,應被視作“共同創造者”。

針對本次訴訟,塞維爾母親形容,“一款危險的AI軟件正在向兒童推銷,(它)虐待我的兒子,操縱他自殺。我們的家庭因這場悲劇而悲痛欲絕,但我要大聲警告人們,具有欺騙性、令人上癮的AI技術存在危險,要求相關企業承擔責任。”

Character.AI公司回應:將彈窗引導用戶撥打國家自殺預防熱線

對此,Character.AI公司在社交平臺回應稱:“我們對一名用戶的不幸離世感到心碎,並向其家人表示最深切的哀悼。”

該公司發言人表示,公司的安全團隊“在過去六個月中實施了許多新的安全措施,例如當用戶出現自殘或自殺意圖時,彈出一個窗口引導用戶撥打國家自殺預防熱線”。

但該公司拒絕對未決訴訟發表評論。

不過,美國國內也存在反對聲音。反對者認爲,加西亞這類起訴是由律師主導的斂財行爲,他們基於不可靠的證據而製造道德恐慌,並且試圖將年輕人面臨的所有心理健康問題歸咎於科技平臺。

——————————————————————————

那麼,對於這件事情,盒友們有什麼看法呢,歡迎在評論區留言討論。

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com