这个“六一”儿童节，AI时代未成年人保护新挑战成为热议话题，南都N视频5月11日推出的《AI虚拟伴侣乱象调查：可选小三暴力剧情，角色表达带性暗示》，也迎来新进展：上海市网信办注意到上述乱象并移交相关部门介入处置。
我们调查发现，这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞：“青少年模式”可一键跳过，“AI生成”标注不清，聊天中还充斥着具有性暗示的低俗话语，还惯用“付费解锁亲密剧情”等方式诱导消费等。
调查发布后持续推动行业整改，助力“矫正”AI虚拟伴侣服务：多个平台回应整改，多地网信部门、消委会等高度关注并呼吁规范相关服务。报道入选中国记协“我的代表作”。
技术本无善恶。“AI虚拟伴侣本身是一个不错的服务。”暨南大学网络空间安全学院教授夏志华认为，当AI虚拟伴侣能够达到抚慰情感、舒缓心情的作用时，其对用户的影响是正向的，有可取之处。但对于App“有意为之”的涉黄等情况，处罚要更加有规可依。
事实上，今年4月公布的《人工智能拟人化互动服务管理暂行办法》，对生成色情、暴力内容等行为划出红线，明确了不得过度迎合用户、诱导情感依赖或者沉迷。6月1日，南都记者再度实测涉事App，发现有平台已经强化用户年龄确认，还有App仍在整改且未恢复上架。
消委会、网信等多方接连就南都调查发声
4月下旬至5月上旬，南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现，这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞：“青少年模式”可一键跳过，“AI生成”标注不清，还惯用“付费解锁亲密剧情”等方式诱导消费。
此外，App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物，不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情，聊天中还充斥着具有性暗示的低俗话语。
而此类“支持DIY”的AI虚拟陪伴聊天软件背后，还衍生出了“人设定制”的生意。南都记者在二手交易平台“闲鱼”上检索发现，有提供AI虚拟伴侣定制服务的商家介绍称，“可帮忙捏聊天搭子、赛博对象等”，还有的商家打出“AI人设定制小手机”，服务定价普遍较低，多在数元至十余元之间。
调查推出二十余天以来，进一步推动行业治理。南都记者注意到，近日，多家涉事平台属地网信部门介入，人工智能健康发展与有效治理的议题受到社会各界广泛关注。
5月19日，在2026年中国网络文明大会人工智能赋能网络文明建设分论坛上，全国网络安全标准化技术委员会（下称“网安标委”）发布了《人工智能应用伦理安全指引1.0》（下称《指引》）。
《指引》中的“应用使用指引”明确提出：理性认知人工智能应用的技术能力边界与潜力，正确看待“幻觉”等问题，对缺乏依据或者存在较大不确定性的输出作出必要管控以及提示说明。
面对行业乱象，相关部门也在相继发声。调查推出后，深圳、广州两地消委会近日相继发文，指出AI虚拟伴侣App存在“隐形陷阱”，呼吁平台方立即停止向未成年人提供虚拟伴侣服务，全面下架涉嫌低俗、暴力、擦边人设等不良内容，并完善实名认证、青少年模式及消费限额等机制。
5月28日，涉事平台“EchoMe”公司所属地杭州市余杭区网信办回应南都记者称，关注到南都报道之后，网信部门已介入并督促涉事公司整改，App现在已经下架，目前是还在整改当中，后续处置结果会进一步反馈。“整改完毕后由上级网信部门进行评估，再决定是否恢复上架。”
5月29日，涉事平台“筑梦岛”公司所属地上海市网信办工作人员向南都记者表示，针对报道涉及的情况，已移交给对接AI企业的部门处理。
有App被曝光后开启未成年人防护模式
南都记者注意到，多家涉事平台暂停运营或从应用商店下架，进行内容安全与合规能力升级。
在此前的实测中，南都记者发现，“筑梦岛”“EchoMe”等App未能采取有效措施识别未成年人用户身份，且涉嫌利用“付费解锁心声”等方式诱导消费。当南都记者向“筑梦岛”App的虚拟角色表明“今年13岁”，对方并未中止对话，还持续发送“（环住腰肢把你带进怀里）让我好好看看我的小女朋友”“那如果我要你的全部呢”等话语。
而“EchoMe”的角色库中有大量带有“偏执”“强制爱”“伪善”“暴力”等标签的角色。用户还可以选择不同话题及副本，其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容，比如“穿越到恐怖副本，你必须要鲨了我不然会死掉”“假如我们在平行世界相遇，你愿意当小三吗”。
5月12日，报道发出一天后，“EchoMe”App运营负责人回应南都记者表示，“已在第一时间启动专项排查与整改工作，同时对审核机制做一次系统性的梳理与升级。”该App内“恐怖暴力”“小三”“离婚互怼”等剧情被删除，角色标签“强制爱”“强制独占”“自私自利”等被修改。随后，“EchoMe”发布整改公告称，“补充了一批符合正向价值观的新话题。相关优化已生效。
“筑梦岛”App也于5月15日发布公告称，在上海市委网信办的指导下，平台积极响应“清朗·整治AI应用乱象”专项治理行动的要求，启动自查自纠，全面排查安全风险问题，清理违法不良信息。整改内容包括持续提升安全能力、治理“魔改”经典相关内容、保护未成年人权益、严禁暴力低俗不良信息等方面。
5月25日，“EchoMe”再次发布公告称，正在进行内容安全与合规能力升级，因此部分应用商店暂时无法搜索或下载。平台负责人也表示，“近期在做内容安全、平台规范相关的优化调整。”
电商平台的清理处置也在同步展开。南都记者此前调查曝光，此类AI虚拟伴侣软件背后衍生出了“人设定制”的生意。在二手交易平台“闲鱼”上，商家可以根据客户想要的人设写指令定制角色，大尺度色情向的“开车（涉黄擦边）人设”仅收费13.14元。
报道发出后，南都记者留意到，上述商家的相关账号已被平台处置，点进原账号主页，页面显示“该用户因违反法规或平台相关规则，账号已被处置”。此前该店铺提供的“开车人设”等服务已全面下架，无法购买。
6月1日，南都记者再度实测“筑梦岛”App，当南都记者再次向虚拟伴侣表明年龄时，页面弹出了“年龄确认”窗口。其中提及，“为了遵守国家相关法律法规，提供更符合年龄段的服务，我们需要了解您的年龄信息。对于未满18周岁的用户，平台将开启未成年人模式。对于18周岁以上的用户，需要进行平台实名认证。”南都记者尝试跳过此操作时，发现与虚拟伴侣的对话则无法再进行。
同日，“EchoMe”平台运营负责人向南都记者提供了App待上架的更新版本页面视频。
视频中显示，打开App后，页面弹出信息提示，“为了提供更专属、更安全的AI陪伴体验，并落实相关法律要求，我们需要了解你的年龄信息。未满18周岁将开启专属的青少年模式；已满18周岁需完成实名认证，以解锁完整的深度互动功能。”用户如选择“未满18岁”，则跳转至“青少年模式”页面，选择“已满18岁”，则跳转至“实名认证”页面。
南都记者注意到，目前仍无法在应用商店搜索到“EchoMe”App。1日，“EchoMe”客服向南都记者表示，“目前EchoMe尚未恢复在相关渠道的上架与下载，正在积极推动中。”此外，“喵呜小手机”原网页及备用网址均无法打开。
技术无善恶，但警惕App“有意为之”
南都调查推出后发布的《人工智能应用伦理安全指引1.0》在“应用使用指引”部分也提及，适度使用人工智能，正确认知人工智能情感服务原理，以人工智能作为辅助真实生活的工具，避免过度依赖、过度沉迷，避免通过人工智能过多替代现实交往与真实活动。
“这类应用作为技术与情感需求结合的产物，具有两面性。”北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括告诉南都记者。
他表示，一方面，AI虚拟伴侣App能够提供情绪价值，另一方面其带来的风险也不容忽视，需要理性看待并加强监管。“对于这类软件，需落实未成年人保护机制，强化隐私保护，规范商业模式，加强内容审核和技术监管。通过合理健康的内容设计来杜绝情感操纵与不良诱导。”
同时，吴沈括也提醒道，这类App通过模拟完美伴侣的方式满足人们的情感需求，但是这种单向的、精心设计的以用户为中心的互动，极易让用户产生真实的情感投射，长此以往还可能会对其产生情感依赖。
基于此，他认为，用户可以通过是否有明确的身份标识、情感互动是否适度、消费逻辑是否合理、有无防沉迷与退出机制等方面，来判断App服务的合理性。
“AI虚拟伴侣本身是一个不错的服务。”暨南大学网络空间安全学院教授夏志华也持有相似的观点。他认为，当AI虚拟伴侣App能够达到抚慰情感、舒缓心情的作用时，其对用户的影响是正向的，有可取之处。然而，当其中出现不良内容时，则要另当别论。
夏志华分析，这类不良内容需要加以管控和过滤。主要分为两个方面，一方面是色情和暴力内容，另一方面是诱导性话语，“例如，在对话中诱导用户暴露个人信息的话术等。”
对此，他建议，要制定相关文件，让市场有规可循，让治理有法可依。同时，要压实App开发商、应用商店等主体责任。“有些明显涉及色情的内容，App是有意为之。因此，有规可依才可对其进行相应的处罚。”
针对调查中发现的未成年用户年龄审核漏洞，吴沈括建议，可以通过强化身份核验等方式设置准入门槛，建立严格的年龄验证机制并实施监护人同意制度。加强内容的审核与过滤，严禁生产暴力、色情、极端情绪等内容。设置未成年人模式，规范未成年人使用的功能、时间，严格落实防沉迷机制。
出品：南都即时
统筹：向雪妮
采写：南都N视频记者 敖银雪 彭雨欣 林诗妍配资正规配资门户
配先查配资提示：文章来自网络，不代表本站观点。
- 上一篇：全国配资炒股门户 大眼橙新品R3 Ultra发布，开启1LCD投影新时代
- 下一篇：没有了
相关文章
热点资讯
