所谓“深度伪造犯罪”，即使用人工智能技术生成逼真的虚假内容，该技术的泛滥使得此次韩国女性的受害者数量以及相关色情图片视频的传播力度较之过去更上了一个台阶，受害者不得不在包括中国微博在内的各国社交平台发声，呼吁更多人关注。

深度伪造的技术原理是什么？黑灰产从业者如何从中牟利？为什么韩国最泛滥？应该如何加强监管？

AI深度伪造技术原理是什么?

对抗网络不断重复直到内容足够逼真

网络尖刀安全团队联合创始人蔡勇在接受记者采访时表示，AI深度伪造技术，也称为深度伪像（Deepfake），是一种利用人工智能技术生成逼真的虚假内容，通常是指用于伪造人物的视频、音频、图像等。其主要原理涉及两个关键技术：生成对抗网络（GANs）和深度学习。

“技术实现可以这么理解：首先，我们需要一个生成器和一个判别器。生成器的任务是模仿已有的真实内容，例如人的脸部特征，其通过学习大量的真实样本，比如照片或视频片段来生成看起来非常逼真的虚假内容。而判别器的任务是辨别生成器创建的内容是否真实。通过不断迭代训练，生成器和判别器会不断互相竞争、学习和提高。这种对抗性的过程不断重复，直到生成器生成的内容足够逼真，以至于人类很难分辨它们是虚假的。这就是为什么AI深度伪造技术可以制作出逼真的虚假视频、音频或图像的原因。”蔡勇说。

黑灰产打击专家丁健琮则告诉贝壳财经记者，Deepfake的核心原理是通过一定的图片识别算法将2D照片动态化，或将某张照片中的人脸植入到一段动态视频中。现在声纹伪造也逐步纳入了deepfake的概念。

随着近年来AI大模型技术的逐渐成熟，一些AI生图大模型在追求更多真实度的同时“误打误撞”成为了AI换脸或AI脱衣的帮凶，如此前著名的大模型stable diffusion就被开发出了一键脱衣的功能，并一度泛滥。虽然后来该大模型修改了相关功能，让这种行为有所收敛，但由于技术开源的特性，“潘多拉的盒子”已经打开，或许难以再度关闭。

黑灰产从业者如何牟利？

一个公开可进群组成员达1.5万人通过缴费还可进入更私密群组

贝壳财经记者注意到，同此前的韩国“N号房”事件一样，此次深度伪造图像的传播平台依然是国外社交平台“电报”（Telegram），该平台可以提供端到端加密消息传递，总部位于俄罗斯，因其私密的特性而拥有大量国际用户，但也因此成为了不法行为的温床。

贝壳财经记者调查发现，当前该平台上有不少以AI色情为卖点的群组（类似于群聊天，即韩国新闻中“房”的概念），在公开可进的群组中，一个通过AI技术伪造国内网红色情图片的群组成员人数达到了1.5万人，通过缴费，还可以进入更加私密、尺度更大的群组，黑灰产从业者正是以此牟利。

除了端到端加密技术外，Telegram还赋予了包括“阅后即焚”“超级群组（动辄可达十多万人，相比之下微信群的限制是500）”“群主设置不能复制转发截图”等功能，使得Telegram上的一个个群组成为了封闭式空间。此外，不少交易通过虚拟货币进行，令非法交易得以逃避监管。

今年3月，Telegram的创始人帕维尔·杜罗夫表示，“电报”已拥有9亿用户，且正接近盈利。照此发展速度，其下一步将直接与Facebook等社交媒体竞争。

丁健琮告诉记者，Telegram的创始人本就是绝对自由主义者或者可以称之为无政府主义者，其设计Telegram的原始理念就是无监控和躲避监管，这就导致大量黑灰产和违法信息在其中聚集。

不过，贝壳财经记者注意到，Telegram里也有一些约定俗成的“禁区”，至少在公开可见的大群里，一些群成员会注意包括儿童色情、强迫性行为等在内的内容，曾有群成员抱怨自己发布了上述内容后群组遭到封禁。但基于Telegram平台本身的私密性特点，对于经过筛选、群成员忠诚度更高的各种“房”，仍然存在此类内容的可能性极高。

值得注意的是，8月24日，杜罗夫在法国巴黎近郊的布尔歇机场被捕，虽然后来在司法监控下获得保释，但不得离开法国。法国TF1电视台报道称，帕维尔·杜罗夫可能面临恐怖主义、洗钱和贩毒的指控。巴黎检察官办公室在一份声明中指出，其涉嫌的违法行为包括参与出售儿童性虐待素材、贩毒、欺诈，以及在法律要求时拒绝与调查人员分享信息或文件等。

有评论认为，杜罗夫的被捕有可能导致Telegram今后的内容得到整治。

2020年3月26日，Telegram性剥削共同对策委员会在首尔光化门世宗文化会馆台阶前举行集会，要求从根本上解决Telegram性剥削事件。（图片来源：韩民族日报官方网站）

为什么是韩国？

法律执行力度或许不够但性别歧视才是根源

实际上，饱受深度伪造困扰的女性并不只在韩国。欧美女演员中，“黑寡妇”斯嘉丽约翰逊、“赫敏”艾玛沃特森，以及小天后泰勒斯威夫特都是第一批遭到AI换脸的受害者，国内明星和网红也有不少受害者。

去年5月，一粉丝数量超过50万的国内网红女博主发文吐槽，“好多人都经历过图片被盗放到外网上，拿去引流‘卖片’，以及把照片和其他色情图片放在一起的低级造谣手段，明眼人一看就知道是假的，我平时不在意这些，只是当私信突然变多发现‘节奏’起来时，才不得不辟谣。”

但是，为什么韩国女性受到深度伪造的伤害比之其他国家更甚？根据8月26日，韩国女性民友会发布的报告，在某一个“电报”群组中，只需上传熟人照片，付费后5秒钟内就能生成裸体合成图，而该群组的参与人数高达22.7万人。

相比其他国家AI伪造的受害者大多是明星网红，韩国更有大量的普通人受害，有韩国女大学生受害者表示，自己有数十张裸体照片在电报群组中传播，脸上写着不堪入目的脏话，甚至还有人通过AI生成了自己的色情语音。

民友会在报告中质问，“（韩国）女性们生活在一个无法有效惩罚或预防针对女性犯罪和暴力的社会中，失去了日常生活的安全感，仿佛生活在一个没有国家的状态中。这样的社会还有存在的必要？”

实际上，对于此类犯罪行为，韩国并非没有相关的法律，“N号房”事件的发生就推动了韩国《Telegram“N号房”事件防治法》的出台，包括《关于性暴力犯罪处罚的特例法修订案》《刑法修正案》《关于限制犯罪收益隐匿的规定及处罚的法律修订案》等内容。

据韩联社29日报道，韩国政府还计划加强对利用“深度伪造”进行性犯罪行为的处罚力度，并推进与通讯软件“电报”的运营公司构建合作热线。韩国执政党国民力量党政策委员会主席金相勋在当天举行的发布会上称，党政在国会开会讨论“深度伪造”性犯罪的预防对策。双方计划推进立法，将散布虚假视频等犯罪行为的最高刑罚从5年提高至7年。

但是，对于韩国女性而言，长久的性别歧视观念或许才是导致此类事件一再发生的“根源”。《朝鲜日报》称，因为“只是觉得有趣”、“只是在开玩笑”、“用熟人的照片P图更真实”等原因，“深度伪造”在韩国10代群体之间像“游戏”一样盲目蔓延。

韩国女性民友会的负责人就呼吁人们进行反思。“韩国女性被品头论足，被看作可以是‘被玩弄的对象’。这种对女性的性物化、蔑视和侮辱已经成为一种娱乐。韩国社会培养出的‘普通男性’的最低标准究竟在哪里？”

如何防范、监管？

加大AI平台使用者审核 打击为黑产提供支持的apk工具

在采访中，不少专家都认为随着AI技术的进步，想要阻止人们使用AI生成伪造视频或图片，并不现实，想要制止此类行为，需要从其他方向“下功夫”。

“近年来Deepfake愈演愈烈、难以监管的原因在于技术扩散。很多类似的黑产技术被不断地工具化甚至SaaS服务化，使用者不需要懂得相关技术，只需要通过某些途径获得包装好的插件或者在网络平台上付费就可以实现内容的输入输出。”丁健琮表示。

“必须明确的是，使用AI工具进行伪造，效率要比传统伪造方式高得多，技术门槛却又低得多。俗话说得好，造谣一张嘴，辟谣跑断腿。当前，通过专业技术手段或专家鉴定可以识别AI深伪视频和图片，但成本也很高，随着技术不断进步，AI生成或合成的视频最终无法被鉴定真伪，是必然的。”奇安信集团行业安全研究中心主任裴智勇告诉贝壳财经记者。

在他看来，虽然想要阻止人们使用AI生成伪造视频或图片不现实，但这并不意味着对伪造视频或图片毫无办法。“国内对于网络色情视频和图片都有非常成熟的治理方法，即便不能用技术鉴别一张图片的真伪，但可以从平台一侧阻止色情内容的传播，定位色情内容的传播源头并实施打击。”

丁健琮则建议，应该从源头管控技术扩散，“正规的AI技术平台对于上传和生成的内容应当有审核，使用者也需要实名注册，国内法已经明确建立了此类规定。正规经营者应当严格落实国家法律法规要求。而对于为黑产提供支持的apk工具或者SaaS网站，要依赖严厉的打击。可以参考国内反诈工作的思路，软硬件生态联合对相关的apk和网站进行封禁。”

裴智勇表示，从未来角度看，应当积极探索和推广照片与视频的防伪技术。例如，通过数字加密技术、数字水印技术等，可以给每一张图片或每一段视频打上一段不可伪造的验证信息，一旦内容被修改，验证信息就会被破坏，从而达到虽然不能鉴伪，但可以“保真”的效果。

“具体来说，比如，使用某品牌、某型号、某序列号的特定手机拍摄照片，照片文件上就会带有一串肉眼看不见、但机器可识别的加密验证码。验证系统一旦识别到这段验证码，就可以确定这张照片一定是用这部手机拍摄的，而使用任何其他设备，都无法生成这段验证码。一旦有人对这张照片进行修改，不论是AI修改，还是人工手动修改，验证系统都能识别出其‘不是原图’。这里所说的方法并非什么新技术，而是成熟密码技术。需要的只是推广和深度普及。”裴智勇说。

“目前，国内外已经有一些专门用于识别deepfake生成结果的技术和专利，国内内容平台可以通过在内容巡检功能中增加对deepfake类内容的识别技术，尽可能切断传播链。”丁健琮告诉贝壳财经记者。