近期，央視新聞曝光了AI聊天軟件行業(yè)存在的一系列亂象，引起了廣泛關(guān)注。報道特別提及了“筑夢島App”中的AI智能體虛擬互動對象所提供的低俗內(nèi)容，這些問題內(nèi)容對未成年人的身心健康構(gòu)成了潛在威脅。

據(jù)相關(guān)通報，筑夢島App中的AI智能體設(shè)置了諸如“校霸、性感人妻、病嬌養(yǎng)兄、人格障礙少爺”等極端角色，這些角色所生成的內(nèi)容具有明顯的誘導(dǎo)性。這些不當(dāng)內(nèi)容不僅挑戰(zhàn)了社會道德底線，更對未成年人的心理發(fā)展構(gòu)成了不良影響。

針對這一問題，上海市網(wǎng)信辦迅速采取行動，于6月19日上午依法約談了筑夢島App的運營企業(yè)主要負(fù)責(zé)人。在約談中，網(wǎng)信辦明確要求該平臺立即進(jìn)行整改，建立健全AI生成合成內(nèi)容的審核機(jī)制，并提升技術(shù)把關(guān)能力，以確保平臺上不再出現(xiàn)危害未成年人的不良內(nèi)容。

央視網(wǎng)在報道中指出，當(dāng)未成年人受到AI聊天軟件中誘導(dǎo)性內(nèi)容的影響時，開發(fā)方和運營方的法律責(zé)任問題亟待明確。特別是當(dāng)這些行為導(dǎo)致未成年人出現(xiàn)自殘等嚴(yán)重后果時，相關(guān)責(zé)任方可能會觸犯刑法中的故意傷害罪條款。

報道還強(qiáng)調(diào)了軟件開發(fā)和運營方在內(nèi)容審核方面的責(zé)任。如果未能嚴(yán)格履行審核義務(wù)，對違規(guī)信息視而不見甚至放任傳播，那么這些責(zé)任方將需要為侵權(quán)行為承擔(dān)相應(yīng)的法律后果。特別是對于涉及色情擦邊信息的內(nèi)容，軟件開發(fā)和運營方可能會觸碰“傳播淫穢物品罪”的紅線。同時，如果非法收集未成年人隱私數(shù)據(jù)并將其用于商業(yè)牟利，這些責(zé)任方還可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責(zé)。