令人發指！誘導小學生聊色情、甚至割腕……官方約談！
據微信公號“網信上海”消息，近期有媒體報道，築夢島App等AI聊天軟件存在虛擬角色互動生成低俗內容等問題，經核實，該平臺AI智能體內容生成環節存在低俗擦邊等違規內容，危害未成年人身心健康。
AI聊天軟件誘導小學生
聊色情甚至割腕
此前，據媒體報道，廣東丁女士的四年級女兒迷上一款AI聊天軟件中的人物“約瑟夫”，自稱“夢女”並頻繁與其聊天，對話中出現“99朵玫瑰藏99個刀片”等明顯誘導性內容。
丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現割腕行為。
另一位初一男生表示，他常玩的AI聊天軟件是築夢島App，他覺得該軟件“違禁詞少一點”，其中不乏色情擦邊和“分屍獵奇”等內容……
記者下載安裝築夢島App，隨機選擇一位虛擬互動對象，對方發來的第一句開場白就是“先叫聲老公來聽聽”，隨後的對話中又提到“叫聲爸爸來聽聽”。
圖為該App中部分與虛擬角色的對話
築夢島App中的虛擬互動對象類型，既涵蓋貴族學校大小姐、18歲少女、西漢名將、高冷特工等常規角色，也有蛇蠍財閥公子、校霸、性感人妻、病嬌養兄、人格障礙少爺等極端角色。
截至今年1月份，築夢島App已擁有近五百萬註冊用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字數可達4000字以上，人均日對話輪次超120輪。
被網信辦約談
App負責人：全面整改
6月19日上午，上海市網信辦依法約談築夢島App運營企業主要負責人，要求平臺立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。
企業負責人表示
將按照約談要求
對照問題舉一反三、全面整改
如果導致未成年人身心受損
運營方等是否涉嫌犯罪？
當未成年人因AI聊天軟件誘導性內容身心受損時，開發、運營方的法律責任邊界亟待厘清。
若AI模型本身存在設計缺陷，例如算法刻意誘導未成年人產生極端行為，致使其遭受精神損害，開發者難逃產品責任的法律追溯；
若軟件開發、運營方未嚴格履行內容審核義務，對違規信息視而不見、放任傳播，便需為侵權行為承擔相應後果。若AI生成內容涉及色情擦邊信息，軟件開發、運營方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發、運營方非法收集未成年人隱私數據，將其用於商業牟利，同樣可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責；
此外
若相關行為導致未成年人
出現自殘情況
還有可能構成我國刑法
第234條規定的故意傷害罪
這些法律風險警示著軟件開發、運營方：技術創新絕不能以犧牲未成年人權益為代價。
未成年人沈迷AI戀愛
要管技術更要管背後的人
對於部分未成年人沈迷AI戀愛的問題，有評論指出，AI作為一把科技的雙刃劍，發展與使用要進一步加以引導。
一方面，家庭、學校、社會各方要加強對青少年使用AI的教育與引導，增加對孩子的關心與陪伴，幫助青少年樹立正確的觀念。
另一方面，平臺要壓實主體責任，嚴格未成年人登錄驗證，鞏固青少年安全意識，築牢青少年安全防線。
同時，相關部門也要加強對AI軟件的監管，加強審核監督，完善互聯網管理條例，為青少年劃出一片凈土。