谁都可能成为色情片的女主角，反Deepfake为什么这么难？

科技研究所10-09

道高一尺魔高一丈，用魔法打败魔法陷入无限追逐战。九月，中文社交媒体上突然出现了一些韩国女生，她们用磕磕绊绊的中文发出求助：韩国女性正深陷Deepfake的威胁。Deepfake（深度伪造）技术让人工智能通过大量的样本学习，实现换脸、语音模拟、视频合成等。然而，这一技术却成为很多韩国女性的噩梦，大量女性的照片被“换脸”，拿来制作色情视频，而加害者可能就是身边的同学与朋友，甚至不少未成年人也参与其中。...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2474263016?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-10-09 08:49","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2474263016","market":"hk","top_or_hot":-1,"title":"谁都可能成为色情片的女主角，反Deepfake为什么这么难？","media":"科技研究所","content":"<div>\n<p>道高一尺魔高一丈，用魔法打败魔法陷入无限追逐战。九月，中文社交媒体上突然出现了一些韩国女生，她们用磕磕绊绊的中文发出求助：韩国女性正深陷Deepfake的威胁。Deepfake（深度伪造）技术让人工智能通过大量的样本学习，实现换脸、语音模拟、视频合成等。然而，这一技术却成为很多韩国女性的噩梦，大量女性的照片被“换脸”，拿来制作色情视频，而加害者可能就是身边的同学与朋友，甚至不少未成年人也参与其中。...</p>\n\n<a href=\"https://tech.ifeng.com/c/8dX7yDq8YZD\">网页链接</a>\n\n</div>\n","source":"fenghuang_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>谁都可能成为色情片的女主角，反Deepfake为什么这么难？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n谁都可能成为色情片的女主角，反Deepfake为什么这么难？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-10-09 08:49 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8dX7yDq8YZD><strong>科技研究所</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>道高一尺魔高一丈，用魔法打败魔法陷入无限追逐战。九月，中文社交媒体上突然出现了一些韩国女生，她们用磕磕绊绊的中文发出求助：韩国女性正深陷Deepfake的威胁。Deepfake（深度伪造）技术让人工智能通过大量的样本学习，实现换脸、语音模拟、视频合成等。然而，这一技术却成为很多韩国女性的噩梦，大量女性的照片被“换脸”，拿来制作色情视频，而加害者可能就是身边的同学与朋友，甚至不少未成年人也参与其中。...</p>\n\n<a href=\"https://tech.ifeng.com/c/8dX7yDq8YZD\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4150","symbol_name":"赌场与赌博","start_time":0,"source_url":"https://tech.ifeng.com/c/8dX7yDq8YZD","article_id":"2474263016","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2474263016","pubTimestamp":1728434989,"sourceInfo":{"source_id":"fenghuang_stock","name":"凤凰网"},"weMediaInfo":null,"summary":"在这两桩事件中可以看出，如若不加限制，Deepfake可能引发巨大的混乱和伤害。过去人们或许认为换脸视频影响的不过是明星和名人，特别是韩国女艺人相关伪造内容占Deepfake色情视频的53%。这三年中，257人因涉嫌Deepfake犯罪被警方调查，被拘留者却仅有12人。最近的一次博弈发生在9月30日，美国加州提出的AI安全法被否决，美国境内至今未通过任何监管Deepfake的法律。张欣怡所提到的挑战赛，是在当天刚刚决出最终排名的外滩大会AI创新赛下设的Deepfake攻防赛道。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4150":"赌场与赌博","GAN":"GAN Limited"},"translate_title":"Anyone can become the heroine of porn. Why is anti-Deepfake so difficult?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"GAN":1},"content_text":"道高一尺魔高一丈，用魔法打败魔法陷入无限追逐战。九月，中文社交媒体上突然出现了一些韩国女生，她们用磕磕绊绊的中文发出求助：韩国女性正深陷Deepfake的威胁。Deepfake（深度伪造）技术让人工智能通过大量的样本学习，实现换脸、语音模拟、视频合成等。然而，这一技术却成为很多韩国女性的噩梦，大量女性的照片被“换脸”，拿来制作色情视频，而加害者可能就是身边的同学与朋友，甚至不少未成年人也参与其中。今年，韩国警方已接到超过800起举报，涉及500多所大学的学生。普通人遭遇“换脸”侵权，是否有办法保护自己的安全？中文社区的程序员们在第一时间做出了回应，以声援受害者。在9月3日结束的“全球Deepfake攻防挑战赛”后，来自澳门大学、中科院的多个获奖队伍都决定将参赛作品开源，让更多人参与到推动Deepfake鉴伪防御的进程中来。面对Deepfake带来的治理难题，一部分工程师们正在努力给出解答，但这不仅仅只是他们的课题。Deepfake的暗面生成式AI如今已经可以轻松地实现像人一样写作、绘画、设计等，而Deepfake作为其下的一个分支，强调的则是“丝滑的伪造”，通过生成式对抗网络（GAN），即两个网络的对抗训练与优化，来逐渐实现更加天衣无缝、真伪难辨的合成内容。这项技术有它有趣的一面。前些年流行的换脸App，可以随心所欲地让用户把脸换到经典剧集人物、电影场景上。还有不少人会使用AI模拟语音，让自己喜欢的偶像“赛博翻唱”其他人的歌曲。多个地图软件里使用的明星声音导航，也属于一种深度伪造的应用。尽管如今，各类App的“换脸”操作听起来不过是一个具有娱乐性的玩笑，但伴随而来的肖像权侵犯、信息误导和性剥削隐忧，无疑为这项飞速迭代的技术蒙上了阴影。2017年，Reddit论坛上有位名叫“Deepfakes”的用户分享了他训练电脑而生成的作品：把名人的脸换到色情视频演员的身上。随着关注到他的人越来越多，这名用户甚至专门开设了一个频道分享教程。陆续有其他用户参与进来，开发色情换脸App。今年年初，美国几乎同时发生了两桩关于Deepfake的争议：一个是在美国两党开启党内初选之际，大批选民接到一通“来自拜登的电话”，要求他们保留选票，不要参与此次投票。后来，这被白宫证实为深度伪造的语音电话。另一个则是Deepfake换脸生成的泰勒·斯威夫特色情图片、视频在X、Instagram、Reddit等社交媒体上疯传，其中一条视频在17小时内就获得了4700万次点击量，最终这场对名人肖像权的侵犯引发公众抗议，各平台随后将这些物料和关键词屏蔽。也因为这次事件，美国多位议员呼吁制定新的法律，将制作这类深度伪造内容的行为定性为犯罪。在这两桩事件中可以看出，如若不加限制，Deepfake可能引发巨大的混乱和伤害。尤其是制作色情内容、指向女性的恶意——因为绝大多数的伪造视频主角都是女性。据网络安全公司Home Security Heroes2023年发布的数据，2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性。8月底，随着“暗网”滋生地——通讯软件Telegram的创始人入境法国后被传唤接受调查，韩国警方与媒体也着手开始调查Telegram上的匿名群聊，大量的Deepfake换脸聊天群被曝光。群内成员将周围女性的照片发进来，再由群友用AI把这些素人女性的脸换到色情图片和视频上。这些群聊不仅涉及包括首尔大学在内的500多所大学，还包括针对未成年的初高中生的换脸，甚至有个别房间针对特定女性，以她的名字开设“羞辱房”以供群友霸凌取乐。这一事件颠覆了人们对于换脸视频受害者的认知。过去人们或许认为换脸视频影响的不过是明星和名人，特别是韩国女艺人相关伪造内容占Deepfake色情视频的53%。但本次事件的爆发，让大众不得不面对一个事实：普通女性也难逃Deepfake的威胁，甚至加害者就是她们身边的亲人朋友。不少焦虑的韩国女性第一时间便删光了社交媒体上的照片，甚至注销了各平台的账号。然而，面对猖獗的网络性犯罪，韩国司法的打击力度却不尽如人意。据韩联社报道，韩国2021年至2023年共发生9864起网络性犯罪案件，超过7000人被调查，但其中只有5.5%被拘留。这三年中，257人因涉嫌Deepfake犯罪被警方调查，被拘留者却仅有12人。世界范围内，相关的法律和监管也普遍滞后。欧盟从2021年起便提出监管人工智能的草案，法律条文经过多次修改，仍未正式施行。英国在2023年10月26日批准了《在线安全法案》，规定企业必须对其平台上发布的视频负责，应当及时删除有害内容，其中就包括被单独列出的Deepfake色情内容。法案引起了不小的争议，多家通讯软件企业批评称，强制信息服务机构检查加密信息，会严重侵犯用户隐私，一些软件甚至因此关闭了英国区的服务。最近的一次博弈发生在9月30日，美国加州提出的AI安全法被否决，美国境内至今未通过任何监管Deepfake的法律。薄弱的监管和越来越低的技术门槛，让Deepfake产物在网络上激增。2023年的深度伪造视频相比2019年增长了550%。截至9月18日，韩国全国已接到800多起与深度伪造相关的性犯罪报警，相比往年呈大幅增长趋势。据韩联社报道，在警方调查的387名嫌疑人中，80%以上是未成年。从见招拆招到主动免疫因为在本土得到的声援不足，韩国女生们开始转而向海外求助，包括专门注册微博账号、发中文帖，以呼吁世界范围内更多的女性关注此事件，帮忙扩大声量。9月3日，中科院自动化所算法工程师张欣怡在微博发出一条视频，剑指打击Deepfake，很快引起了关注。“既然有人用技术造假，那么我们也要用技术去阻止他们得逞。经过团队的同意，我们已经把近期参加全球Deepfake攻防挑战赛的AI模型向全球开源，让所有有需要的人都可以免费使用这些模型来对抗Deepfake。我们希望通过技术手段，为每一个可能受到伤害的人提供保护。”她表示。张欣怡所提到的挑战赛，是在当天刚刚决出最终排名的外滩大会AI创新赛下设的Deepfake攻防赛道。她所在的中科院“VisionRush”团队获得图像赛道的第三名。本次比赛的主办方蚂蚁数科同样注意到了近期围绕Deepfake的争议，并号召各参赛队伍加入开源的行列，以开放交流来推动防御鉴别技术的发展。图像赛道的冠军，来自澳门大学的科研小组“JTGroup”同样选择了将作品开源。队伍成员、计算机科学专业博士吴海威告诉《中国慈善家》，对Deepfake进行检测和防御的一大难点，就是发展极快的新技术永远跑在前面，获得的学术与商业投资也远超过防御方。后者多数时候只能做追随者，始终滞后于生成方，很难实现对形势的逆转。“做生成式AI技术，是不断地创造新的生产力，天然具有更大的应用价值，会有更多的人去研究。他们发论文的数量，应该是近10倍于我们做防御安全的这边。我们属于一个比较小的圈子，发表论文的关注度和引用量是远远低于他们的。”他表示。实现鉴别Deepfake内容的技术原理并不复杂。拿换脸来举例，通用算法会在人脸上标注68个锚点，进行等位替换，并进行一定的图块矫正、边缘柔化、调整光影等。而检测，就是要找出这些步骤所留下的穿帮之处。但问题在于，进攻和防御用的是同一套逻辑，见招拆招、相辅相成，一个更完善的防御机制，反过来也会推动算法学习、优化，从而生产出更难以辨别真伪的内容，骗过现有的检测手段。也就是说，“用魔法打败魔法”，并非一劳永逸的单行道，而是一个循环上升的螺旋。程序员们正各显神通，试图在其中找到通路。此次大赛视频赛道冠军唐永威认为，如果增强防御算法对真实视频的识别能力，就能更好地“反选”以筛选出假视频。此外，视频包括图像和声音，除了对图像一帧一帧地进行检测，还可以对音频辨伪。唐永威的模型，便是对后者进行了能力强化，以提升检测的精度。澳门大学的JTGroup则想要提升检测模型的泛化性，即它举一反三的能力。在模型学习阶段，不仅仅要记住已有“题库”的正确答案，还要增加难度，让它在少量例子中学会总结规律、找出泛化的伪造痕迹，再用其他类型的伪造例子进行考试，来判断模型是否能将习得的规律应用到未知的案例中。不过，想要真正实现对Deepfake有害内容的限制，“无限追逐战”显然不是最终的解法。除了对现有的防御机制做优化和维护，研究者们如今更想做的，是找到那个理论性存在的公理，那个所有真伪图像标记、检测都通用的规则。不是见招拆招，而是提前出招，甚至打破现有“螺旋”规则，来开辟图像编码的新道路。2021年，复旦大学计算机科学技术学院的团队提出了一个“图像免疫”概念，并持续优化其方案至今。它将原始图像比喻为可能受到病毒攻击的人，而为它打上“防御性疫苗”，就能更好地提升它抵御篡改的能力。简单来说，这一技术可以给图像视频加入一个特殊的暗水印，即使后续内容被Deepfake篡改，水印带来的“免疫力”也可以有效定位内容的修改位置，从而将信息大致恢复原状。“在越来越多生成式内容出现的时候，我们必须采取一种更为主动的方式，而不仅仅是拿到信息后，再对它进行判断。如果在信息生产的同一时刻，就能为它增加一道必要的枷锁、限制用户的行动，那么打击Deepfake内容会变得简单很多。”吴海威说。社会治理的课题即使是被动防御，用魔法打败魔法也需要较高的技术门槛。Deepfake相关事件发酵后，人们很关心的一个问题是：什么时候普通人在遭遇换脸或声音伪造时，也能用上“魔法”，自主与之对抗甚至维权？中科院VisionRush团队表示，后续打算“尽快开发相关应用，降低大家的使用门槛”。理想状态下，未来普通用户也可以通过一个App，像换装换脸、自动美颜那样，一键鉴别图片的真伪。但距离实现这个场景，可能还有很长的路要走。受访的两位选手均向《中国慈善家》表示，研发一个面向普通用户的Deepfake鉴别App，并不具有明朗的商业前景。“目前我的模型，再加几步代码也能包装成一个软件，但还需要有人来进一步开发和投放，需要一个团队。”唐永威表示。但他坦言自己参加比赛、开发Deepfake鉴别程序，实际上出于自己的兴趣，“觉得做这样一个更公益化的主题很有意思。”中科院VisionRush团队在曾经的采访中也表达过类似的看法，即研究Deepfake安全，并非有太高的商业收益，而是出于一种解决社会问题的情怀。“我们整个大团队，专注在安全领域20多年了，始终没有换方向，就是还想为净化网络空间做一些努力。”一位队员表示。开发这类程序的终点，可能并非引向大众普及。吴海威告诉《中国慈善家》，团队的项目成果更多时候是与政府、企业合作，在信息触达大众之前就进行鉴伪和拦截。国内不少头部互联网企业也逐渐开始重视AI安全：蚂蚁集团作为大赛主办方，正持续研究金融场景下的信息安全；阿里达摩院和阿里安全同样在做此方向的研究，对平台上的证照等内容进行筛选、鉴伪；小红书作为拥有海量图片内容的平台，也组建了“REDStar”工程师团队，在内容安全防御算法的开发上做研究。“让普通的用户掌握防御性手段相对来说比较困难，但防御机制更应该放在信息传播的过程中间。比如微信、微博、小红书、抖音等信息传播平台，由平台判定传播信息的真实性，对深度伪造内容进行拦截。而不是平台不负责任地将信息传播出去，让普通人自己来判断它的真假。”吴海威表示。治理Deepfake问题之困境，还不仅仅在于技术发展太快、监管和防御手段很难及时跟上的现实。从诞生之初便与色情内容的强关联，意味着Deepfake产物始终处于灰色地带，人们不愿公开讨论，其辛辣、刺激、隐晦的标签也消解了犯罪行为的严肃性。相较于其他的科技伦理讨论，Deepfake也注定是一个女性比男性更加关心的话题，毕竟不法内容的受害者绝大多数是女性。“谈论Deepfake时，我们必须得正视，它和系统性的性别不平等是强相关的。正因为有这个问题存在，才会有滥用技术、对女性和性少数群体随意进行网络霸凌的情况。”BBC的一篇社论写道。回到这次丑闻爆发的韩国，社会中弥漫的厌女文化已成为性犯罪、性剥削的温床。韩国总统尹锡悦上台之后曾因推动废除“性别平等部”（该部门的职能是为遭受性暴力的受害者提供庇护与支持）而遭受韩国国内社会批评，认为其有意无视韩国结构性的性别歧视问题。针对本次Deepfake危机，尹锡悦出面宣布“将严厉打击泛滥的数字犯罪”，但民众们仍然走上街头静默示威，抗议政府的惩治不力。在持续呼吁下，9月26日，韩国国会通过了一项新的法案，规定持有、购买、保存、观看Deepfake色情内容的行为均被视为犯罪，尤其将提高针对制作视频者的惩罚力度。在原有法条的基础上，违法者最高可增加判处三年监禁与上限3000万韩元（约合15.78万人民币）的罚款。但法案还需要总统的签署批准，才能成为正式出台的法律。韩国警察厅也在今年上半年开始与AI初创公司合作，开发Deepfake检测系统，以打击此类犯罪。但与Deepfake犯罪的博弈，注定是一场持久战。在AI技术滚滚向前、提供大量创意和便利的今日，停下来正视其身后的阴影，也是必要的动作。它不仅仅是程序员们的技术较量，还应当是全社会不该缺失的人文课题。","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.29.2","shortVersion":"4.29.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2474263016"}