在監(jiān)管風(fēng)暴與多起訴訟打擊下,人工智能初創(chuàng)公司Character.AI周三宣布,將禁止未成年人在其平臺上與聊天機(jī)器人進(jìn)行對話。
該公司聲明稱,自11月25日起,將全面禁止18歲以下用戶與平臺上的聊天機(jī)器人進(jìn)行開放式交流。目前用戶可以創(chuàng)建并與這些虛擬角色對話,這些角色從熱門電子游戲人物到億萬富豪馬斯克的“復(fù)制體”不等。
在禁令正式生效前,公司將先逐步限制未成年用戶的使用時(shí)長,初期每日使用時(shí)長將先壓縮至兩小時(shí),隨后幾周內(nèi)將進(jìn)一步縮短。
這項(xiàng)決定意味著,曾以“角色扮演”走紅北美青少年圈的Character.AI,將被迫砍掉最具黏性的核心功能。
根據(jù)非營利機(jī)構(gòu)Common Sense Media的一項(xiàng)調(diào)查,超過70%的美國青少年曾經(jīng)使用過AI陪伴型應(yīng)用,而Character.AI正是其中最受歡迎的平臺之一。
目前,Character.AI已為未成年用戶提供了一個(gè)受限版本,使用不同的AI模型,并對訪問角色類型和對話內(nèi)容進(jìn)行了嚴(yán)格限制。
隨著新規(guī)推出,公司計(jì)劃強(qiáng)化年齡驗(yàn)證技術(shù),以更有效地區(qū)分成人與未成年用戶。Character.AI表示,公司已構(gòu)建了一個(gè)新的模型,并將啟用身份驗(yàn)證初創(chuàng)公司Persona的技術(shù),來執(zhí)行這一流程。
從陪伴到管控
Character.AI、OpenAI等頭部AI公司正面臨日益嚴(yán)格的監(jiān)管審查,外界擔(dān)憂其聊天機(jī)器人可能影響用戶心理健康。自2024年以來,多位家長已對這些公司提起訴訟,指控孩子在長期使用聊天機(jī)器人后受到傷害,包括被操控、被孤立,甚至導(dǎo)致自殺悲劇。
監(jiān)管機(jī)構(gòu)也已介入調(diào)查。美國聯(lián)邦貿(mào)易委員會(FTC)已對Character.AI、OpenAI、谷歌母公司 Alphabet、Meta、Snap及馬斯克旗下的xAI等展開調(diào)查,重點(diǎn)關(guān)注這些聊天機(jī)器人對未成年人的潛在危害。
此外,加利福尼亞州近期簽署了一項(xiàng)法律,限制聊天機(jī)器人與用戶的互動(dòng)方式。美國參議院兩黨議員本周二還聯(lián)合提出新法案,擬禁止AI公司向未成年人提供虛擬聊天伴侶服務(wù)。
在周二的一次采訪中,Character.AI首席執(zhí)行官Karandeep Anand表示,公司認(rèn)為AI娛樂的未來將不僅限于聊天形式,而禁止未成年人使用核心聊天功能,是公司“早晚都會采取的決定”。
“AI發(fā)展太快,很多長期、開放式對話的后果仍是未知數(shù)。我們不知道它是好是壞,研究界和用戶社區(qū)對此都存在廣泛爭論。”
Anand還表示,公司仍將向未成年用戶提供其他創(chuàng)意功能,例如讓他們利用Character.AI的聊天角色生成短視頻和故事。
他聲稱:“用戶來到Character.AI,是為了尋找創(chuàng)作的出口,他們想要角色扮演。如果有人創(chuàng)造了吸血鬼或萬圣節(jié)角色,我們希望他們還能繼續(xù)參與這些內(nèi)容,只是方式將從聊天轉(zhuǎn)向更安全的互動(dòng)形式。”