一方面，监管部门需尽快建立健全人工智能研发与应用相关法律法规和标准体系，加强对科技企业、媒体平台等的监管。另一方面，提供深度合成服务的企业要严格落实信息安全管理主体责任，建立健全算法机制审核、科技伦理审查、反电信网络诈骗等管理制度，加强合成内容的审查与管理，对智能对话、合成人声、人脸生成、沉浸式拟真场景等生成内容进行显著标识，避免公众混淆或误认
近日，AI行业发展过程中的诸多乱象，引发了市场广泛关注，网络安全问题再次站在聚光灯下，多家产业链上市公司也积极回应网络安全相关布局情况。
AI行业乱象频发
“AI孙燕姿”的热度尚未完全消散，“AI换脸”明星直播便再次成为社交平台上的焦点话题。点开直播间，就可以看到换脸杨幂、迪丽热巴等女明星在直播带货。这让消费者在感叹科技进步的同时，也对AI发展态势及相关安全问题表示担忧。
“现在有很多公司可以直接提供相关明星的算法模型，价格低廉，在3万元至4万元之间，购买之后就可以直接假冒明星进行直播带货。现在AI行业发展乱象很多，到了必须加强监管和治理的时候了。”一位不愿具名的行业人士对记者表示。
近日就有福州市某科技公司法人代表郭先生10分钟内被骗430万元的事件发生。据了解，骗子先攻陷了郭先生的好友微信，进而通过智能AI换脸和拟声技术对郭先生进行诈骗。
深度科技研究院院长张孝荣在接受《证券日报》记者采访时表示：“当前的AI换脸和AI拟声涉及到‘深度伪造’，是AI技术的衍生应用。这种应用一般通过使用‘生成式对抗网络’的机器学习模型，将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容。”
张孝荣还表示，目前还有一种新的发展趋势，即AI训练生成虚拟人接入ChatGPT这样的NLP大模型，再结合语音高仿技术，复刻与真实人物互动的效果，如此一来，就会让线上的“李逵”和“李鬼”更加真假难辨。
面对当前AI行业的发展乱象，网络安全治理已迫在眉睫。天使投资人、资深人工智能专家郭涛在接受《证券日报》记者采访时表示：“一方面，监管部门需尽快建立健全人工智能研发与应用相关法律法规和标准体系，加强对科技企业、媒体平台等的监管。另一方面，提供深度合成服务的企业要严格落实信息安全管理主体责任，建立健全算法机制审核、科技伦理审查、反电信网络诈骗等管理制度，加强合成内容的审查与管理，对智能对话、合成人声、人脸生成、沉浸式拟真场景等生成内容进行显著标识，避免公众混淆或误认。”