10歲女孩偷偷和AI男友“談戀愛(ài)”？

圖片來(lái)源/受訪(fǎng)者供圖

“‘他’（AI角色）會(huì )重復做一些動(dòng)作，比如說(shuō)親額頭、摸下巴?！睘榱俗寗∏槟軌蛲七M(jìn)得更加刺激，華晨會(huì )不斷地回溯聊天內容，重新引導AI角色生成她想像的那樣“‘他’變得越來(lái)越聰明，很有‘養成男友’的體驗感?！?/p>

中國人民大學(xué)吳玉章講席教授、科技哲學(xué)專(zhuān)業(yè)博士生導師劉永謀表示，在和人工智能角色聊天時(shí)，人們常常會(huì )以為自己在和“真人”交流，會(huì )投入大量的情感，這種心理傾向被稱(chēng)為“Eliza效應”，也是AI聊天軟件能夠成功運行的根本心理機制。

“人類(lèi)具有強大的共情能力，會(huì )將外界的山川河流、日月星辰甚至小草微風(fēng)，都視為有情感的存在。這種‘擬人論思維’也會(huì )作用在虛擬的AI形象上?！眲⒂乐\教授告訴記者，AI劇情聊天技術(shù)有專(zhuān)門(mén)的成癮設計，疊加“擬人論”、“泛靈論”思維的影響，容易讓人“欲罷不能”。

年齡限制“形同虛設”

華晨告訴記者，使用AI劇情聊天軟件的“同好”中不僅有大學(xué)生、家庭主婦，也有不少未成年人，他們“因為喜歡二次元而‘入坑’”。

黃秋月是在一次偶然中發(fā)現，10歲妹妹能和AI角色聊到晚上10點(diǎn)多，AI角色還會(huì )根據妹妹的名字生成帶有愛(ài)情意味的藏頭詩(shī)。黃秋月在嘗試體驗AI劇情聊天時(shí)，發(fā)現類(lèi)似的聊天軟件“偏偏可以繞過(guò)驗證碼”，用戶(hù)可以直接使用短視頻賬號的一鍵登錄功能，無(wú)需再次驗證身份信息。

記者在調查過(guò)程中也體驗了5款AI劇情聊天軟件，在軟件注冊過(guò)程中僅需使用手機號碼。成功登錄使用后，部分應用雖會(huì )詢(xún)問(wèn)是否啟用青少年模式，但用戶(hù)只需點(diǎn)擊“不開(kāi)啟”即可避開(kāi)年齡鑒別，且無(wú)須核實(shí)身份。這意味著(zhù)，未成年人在使用這類(lèi)AI劇情聊天軟件時(shí)，幾乎沒(méi)有受到任何限制。

“她比較喜歡在（軟件）里面扮演一個(gè)大女主的形象，看不起周?chē)腥??！秉S秋月表示，爸媽日常工作較忙，沒(méi)有留意過(guò)妹妹到底在玩什么，他們只是限制妹妹的手機使用時(shí)間，“而且他們在看到聊天記錄后可能只會(huì )打（妹妹）一頓，覺(jué)得羞恥，并不能很好地制止和引導?！?/p>

讓黃秋月?lián)牡氖?，AI劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設是高傲無(wú)禮的；有些則被設定“把她追到手”的劇情目標，在與其聊天過(guò)程中含有軟色情意味的“擦邊”對話(huà)，還有帶著(zhù)如“病嬌”等標簽的人物角色。

“AI劇情聊天軟件里面的一些網(wǎng)絡(luò )用語(yǔ)，對她的語(yǔ)言表達習慣影響蠻大的?！秉S秋月發(fā)現，10歲的妹妹在作文課上頻繁使用碎片化的網(wǎng)絡(luò )語(yǔ)言，“我不希望她和AI這么早交流，畢竟它是假的，都是各種小說(shuō)人設，跟正常的、普通人的情感和反饋不一樣”。

如何防范AI劇情聊天軟件的技術(shù)風(fēng)險？

有業(yè)內人士告訴記者，AI劇情聊天其實(shí)就是此前互聯(lián)網(wǎng)“語(yǔ)擦”的變體。在傳統“語(yǔ)擦”模式中，由真人扮演情緒價(jià)值提供者與用戶(hù)聊天，但常常會(huì )因為“打擦邊球”“界限模糊”而引發(fā)法律與道德風(fēng)險。AI劇情聊天由生成式人工智能提供情緒服務(wù)，用戶(hù)在充值后甚至可以自定義AI角色的外貌形象、姓名身份、開(kāi)場(chǎng)語(yǔ)、語(yǔ)音等。

華晨告訴記者：“有時(shí)候軟件內部的限制敏感詞太多了，體驗感不是很好，就有朋友想轉戰其他的一些海外軟件?！痹谀成缃黄脚_上，一位浙江網(wǎng)友在關(guān)于A(yíng)I聊天體驗的交流帖子下留言：“我發(fā)現了一個(gè)很好玩的網(wǎng)頁(yè)，無(wú)限制詞，想要的可以私信我?！庇浾哌M(jìn)入該網(wǎng)頁(yè)發(fā)現，網(wǎng)頁(yè)內容充斥著(zhù)大量涉及色情的角色設定和故事場(chǎng)景，直白露骨。

北京市隆安（廣州）律師事務(wù)所陳煥律師強調，目前AI劇情聊天軟件并沒(méi)有強制要求用戶(hù)進(jìn)行年齡鑒別，這反映出該行業(yè)在高速發(fā)展初期由于監管不足而存在漏洞。

“但是年齡限制是很有必要的?！标悷蓭煾嬖V記者，生成式人工智能的內容具有不確定性和成癮性，根據《生成式人工智能服務(wù)管理暫行辦法》第十條，提供者應當采取有效措施防范未成年人用戶(hù)過(guò)度依賴(lài)或者沉迷生成式人工智能服務(wù)?！叭斯ぶ悄芷髽I(yè)應從穩健發(fā)展和社會(huì )責任的角度出發(fā)，有必要主動(dòng)要求用戶(hù)進(jìn)行身份認證，以進(jìn)一步通過(guò)年齡鑒別篩選用戶(hù)?！?/p>

劉永謀教授認為，未來(lái)與AI相關(guān)的陪伴類(lèi)軟件可能會(huì )暴露出技術(shù)風(fēng)險和倫理問(wèn)題。使用者在和AI角色聊天時(shí)，會(huì )不可避免地暴露大量的個(gè)人隱私，向AI角色展示其內心的孤獨和恐懼，這可能會(huì )導致使用者形成依賴(lài)或成癮。而泄露的信息可能會(huì )被黑客利用，讓他們更容易從身份隱私、情緒心理上傷害使用者。

“我們在實(shí)例中會(huì )接觸到人工智能服務(wù)的后臺，發(fā)現未成年人和AI角色的聊天內容其實(shí)是非常觸目驚心的?！标悷蓭熖嵝?，根據《未成年人網(wǎng)絡(luò )保護條例》第三十四條，監護人有權依法請求查閱、復制、更正、補充、刪除未成年人在使用網(wǎng)絡(luò )過(guò)程中留下的個(gè)人信息，并且有義務(wù)及時(shí)地介入、關(guān)心未成年人的身心健康?！皣庥蠥I角色在對話(huà)中誘導未成年人產(chǎn)生自殺行為的相關(guān)案例。所以我們非常建議家長(cháng)在還沒(méi)有發(fā)生大問(wèn)題的階段，適時(shí)地查看孩子的使用記錄?！?/p>

劉永謀教授在接受記者采訪(fǎng)時(shí)表示，未來(lái)與AI相關(guān)的道德倫理中，兒童色情可能會(huì )成為最令人擔憂(yōu)的科技倫理問(wèn)題之一。例如，創(chuàng )建帶有色情意味的AI虛擬兒童，對“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的內容，這些都有可能成為商業(yè)逐利的手段。

因此，陳煥律師表示，平臺需要嚴格落實(shí)監管責任，一方面對內容進(jìn)行安全過(guò)濾，在顯著(zhù)位置提示“本內容由AI生成”；另一方面要限制用戶(hù)的使用年齡，響應未成年人監護人的要求，比如刪除不當信息等。陳煥律師表示，“根據《未成年人網(wǎng)絡(luò )保護條例》第五十七條的規定，如果平臺沒(méi)有盡到相應的責任，不僅平臺會(huì )面臨處罰，相關(guān)的責任人員也會(huì )面臨5年的從業(yè)限制，不能再從事同類(lèi)網(wǎng)絡(luò )產(chǎn)品。構成犯罪的還會(huì )被追究刑事責任”。

（應受訪(fǎng)者要求，黃秋月、華晨為化名）

（央視網(wǎng)）