8月26日,小红书薯管家发布“清朗·整治AI应用乱象”第二阶段治理成效。
据介绍,自专项行动第二阶段开展至今,平台共处置违规笔记15万余篇,违规账号1400余个。
在具体治理举措上,小红书搭建起存量清理、增量拦截的闭环处置链路,建立风险线索快速响应机制,强化新增风险的前置拦截工作。同时,平台阻断违规商品以及黑灰产相关交易,针对搜索、推荐环节加强管控,强化AI问答模型安全管理。
除此之外,小红书推出“AI知识包”,薯管家推出“这些AI套路你中招了吗”系列知识包,引导用户合规使用AI工具,防范AI生成虚假内容的误导与欺骗。

典型案例如下:
典型案例1:利用AI歪曲古典名著,传播价值观扭曲内容
账号“大*法”“小*3”等,利用AI技术“魔改”古典名著《西游记》,植入低俗内容,歪曲解构古典名著精神内涵,存在不良价值导向。
典型案例2:利用AI生成虚假信息,传播涉及社会时事的谣言
账号“小*5”“小*F”等,利用AI生成传播虚假极端天气信息,散布谣言,易引发民众恐慌。
典型案例3:利用AI换脸换声假冒公众人物
账号“值*你”“唐*活”等,利用AI换脸换声假冒知名公众人物,引流带货、营销牟利。
典型案例4:利用AI制作虐待血腥、恐怖猎奇或低俗擦边内容
账号“蜜*智”“懵*飓”等,利用AI制作发布恐怖惊悚、诡异猎奇画面,破坏社区生态,影响用户身心健康。
典型案例5:利用AI生成伤害未成年人的内容,制作儿童“邪典”及无底线二创动画
账号“我*人”“王*叨”等,以《熊出没》《小猪佩奇》等未成年人喜爱的动画形象为原型,利用AI制作带有不良价值观的二创动画;账号“小*戏”等,利用AI制作伤害未成年人的内容,影响未成年人身心健康。
典型案例6:利用AI托管账号批量注册,批量发布同质化文案
账号“小*发”等,发布教授利用AI工具批量注册账号、矩阵化运营账号的推广教程信息,助长网络水军活动。
典型案例7:推广仿冒套壳AI应用,色情陪聊等服务课程
账号“小*2”等,推广售卖违规AI产品和服务,采用作弊手段搭建国内中转服务器,为境外AI服务平台引流。
扫码下载app 最新资讯实时掌握
