拆解AI造假四大套路：仿冒名人炮制消息，换脸诓骗一键去衣

近日，有人用AI（人工智能）技术冒充着名大夫张文宏带货的消息冲上热搜。15日，微信平台发布消息称，针对“使用AI技术仿冒名人举行不妥营销”的环境举行了打击，关闭账号209个。AI作为一种新技术，面世以来被应用到社会多个范畴，但比年来也出现了不少使用AI举行违法犯罪的案例，包括仿冒名人、造谣、换脸诈骗、偷取隐私等等。涉及AI的套路有哪些？如何厘清背后的长处链条？遇上类似环境该如何辨认？我们一起来看看。

仿冒名人：炮制视频和声音

近日，有网友发现账号名为“般画XXX”发布的一段视频中，着名大夫“张文宏”正在售卖一种卵白棒。然而，媒体观察发现，该视频中口型和声音像是张文宏，售卖活动却非本人。颠末核实，该视频并非张文宏大夫本人拍摄，而是使用AI技术合成的虚拟人。据网友发布的截图表现，该卵白棒产物已售出了1266份。过后，张文宏告诉央视记者，如许的卖货账号不止一个，而且不绝在变，他已多次向平台投诉。

着名大夫张文宏回应被AI仿冒带货。 央视财经截图

被AI技术冒充的，张文宏不是首个“躺枪”者。本年国庆假期，短视频平台上出现了大量“雷军AI配音”的视频，这些恶搞视频在交际平台上的干系话题欣赏量过亿。视频中，“小米CEO雷军”锐评了堵车、调休、游戏等热门话题，言辞犀利，还常爆粗口。在过后担当采访时，雷军表现：“渴望各人都不要玩了，这个变乱不太好。”

本年11月，胖东来首创人于东来被人用AI技术生成声音去卖药，过后胖东来发布声明举行了辟谣。

据报道，本年11月，江西一位老人到银行办理业务，声称要贷款200万元给男朋侪“靳东”拍戏。经观察发现，老人手机里的“靳东”出自由AI合成的视频。本年10月，老牌港星黄百鸣也通过交际媒体谨慎声明，有人盗用其已往影片，使用AI替换声音，代言一个不着名的药膏品牌。

15日，微信平台发布消息称：“近期有媒体报道，网络存在使用AI技术仿冒名人举行不妥营销的征象。我们从速从严打击了一批使用AI仿冒着名人士举行不妥营销、恶意博取流量的违规活动，并针对干系环境开展专项管理。截至现在，累计处置内容532条，关闭账号209个。下一步，我们将连续对“使用AI仿冒着名人士举行营销宣传”等违规活动增 加打击力度。”

微信近期处理的部门违规账号。 “微信珊瑚安全”公众号

炮制消息：软件几秒钟生成

当前，AI技术存在被滥用的环境，一些非法分子使用AI技术故意生成造谣内容并流传。

公安部网安局公布一起案例：2023年12月，一条“西安市鄠邑区地下涌出热水”的信息在网络上大量流传，出现如“地下出热水是因为发生了地震”“是因为地下热管道破碎”等谣言。经查，干系谣言是通过AI洗稿方式生成的。本年6月20日，上海警方也发布转达，两名品牌营销职员为蹭热度吸引流量，使用AI软件生成视频技术，编造“中山公园地铁 站捅人”等不实信息，干系职员已被行政拘留。

类似环境另有“济南一高层住宅楼起火，多人跳楼逃生”“晨练大爷在济南豪杰山附近发现坟中有活人”……这些离谱的“重磅消息”引起大量关注，经有关部门观察，均系AI生成的谣言。

清华大学消息与流传学院新媒体研究中央本年4月发布的一份研究陈诉表现，近两年的AI谣言中，经济与企业类谣言占比最高，达43.71%。近一年来，经济与企业类AI谣言量增速高达99.91%，此中餐饮外卖、快递配送等行业更是AI谣言重灾区。

法治日报记者用市面上盛行的多款人工智能软件测试发现，只要给出关键词，就能在几秒钟内生成一篇“消息报道”，只要加上时间所在，再配上图片和配景音乐，一篇以假乱真的“消息报道”便制作完成。记者发现，很多AI生成的谣言中，都夹杂着“据报道”“干系部门正对事故缘故原由举行深入观察，并采取措施举行抢修”“提示广大市民在一样平常生存中要留意安全”等内容，在网上发布后人们每每难辨真伪。

中国人民大学消息与社会发展中央研究员曾持说，AI根据热门变乱总结规律、拼接情节，很快就能制作出符合人们“预期”的谣言，流传非常敏捷。

换脸诓骗：有人受骗20万元

比年来，各地出现了不少使用AI技术直接参与犯罪的案例，犯罪分子使用AI举行换脸、换声，冒充他人举行诈骗，也有人使用AI偷取他人隐私。

马某某接到冒充表哥的视频电话。 央视消息截图

宁夏固原市住民马某某接到表哥视频电话求助后，毫不犹豫给对方指定账户转了1.5万元。过后，他给亲戚发微信核及时才得知受骗，原来骗子通过AI换脸和拟声技术，佯装亲戚对实在验诈骗。

AI技术实现“一键去衣”和换脸的功能还被非法分子使用，成为诓骗打单的工具。客岁夏季，山东威海住民王某收到“自己和一名女子的裸照”，对方说“我有你全部的影像资料，赶紧跟我接洽”，末了要求付款68万元。在没有多加核实的环境下，王某向诓骗团伙转账20万元。本年1月，威海警方赶赴浙江将两名犯罪怀疑人抓获归案，为王某挽回了丧失。

王某收到的诓骗信息。 央视消息截图

屡见不鲜，本年6月，深圳市民吴先生也碰到类似骗局，收到“自己和一名女子的裸照”，对方要求转账。吴先生随即报案，警方发现全市有同样遭遇的不止吴先生一人，犯罪怀疑人的诓骗打单方式都如出一辙。颠末观察，警方打掉一个通过AI换脸技术合成不雅照，实行诓骗打单的犯罪团伙，抓获怀疑人10多人。

本年4月，北京市海淀区法院还审理了一起特殊的“制作、贩卖淫秽物品”案。被告白某某使用AI软件，对被害人的图片“一键去衣”，几秒钟、几分钟就能批量生成相应的图片。经查，他通过某款通讯软件向351个人贩卖干系图片，图片数目快要7000张。

白某某使用AI软件对被害人的图片“一键去衣”。 央视消息截图

本年9月，杭州警方公布了一起使用AI偷取民居隐私信息的案件。怀疑人胡某某等四人，在境外网络承接定向出售国内头部平台用户数据业务，使用境外多模态专用大模子，通过笔墨对话，输出活体视频，突破平台人脸认证，强制登录他人账号，获取大量受害人私人数据和敏感信息并出售赢利。据悉，这是天下首起使用AI技术侵占公民个人信息的 案件。

克隆声音：网站当成买卖做

使用AI技术举行犯罪，绝不是新技术的试错或无心之举，而是醉翁之意之人刻意使用新技术犯法乱纪，意图获取非法长处。

在上述北京发生的贩卖“去衣”照片案件中，被告白某某在境外交际媒体上打仗到了这项“一键去衣”的技术，于是计划使用这项技术来赢利，他在境外的交际媒体上发布了广告，内容就是“去衣”，1.5元一张。他的广告发布后，有不少人接洽白某某，给他发送照片并购买这项“去衣”服务。

白某某发布广告，以1.5元一张销售“去衣”照片。 央视消息截图

干系专家解释，“去衣”照片并不是真的去掉别人照片上的衣服，实在是针对已有的模子和已有的模组举行图片重绘。白某某不但通过AI软件制作裸体图片贩卖牟利，同时出售AI“去衣软件”及使用教程牟利。短短几个月的时间，白某某制作了几千张去衣的图片，赚了近一万元钱。

别的，在多起AI造谣变乱背后，造谣者的动机主要也是引流和借此牟利。本年6月中旬，一家MCN机构的现实控制人王某某使用AI软件生成虚假消息并放肆流传，被警方行政拘留。据警方转达，王某某共谋划5家MCN机构，运营账号842个，自本年1月以来，他通过AI软件生成虚假消息，最高峰一天能生成4000至7000篇。另据西安警方先容，他们查获了某款AI软件，“一天能生成19万篇文章”。本年2月，上海警方发现，在一家电商平台上出现了某艺人“运气多舛、含恨离世”等短视频，引发大量点赞和转发。经查，该视频内容系伪造。视频发布者交代，他通过假消息给自己谋划土特产的网店账号吸引流量，因自己不会视频剪辑，便使用AI技术生成虚假文本和视频。

雷军曾发视频回应遭AI配音恶搞。 网络图

在于东来、雷军等人曝作声音被克隆的消息后，有媒体记者搜刮发现，网络平台上有不少AI克隆声音的教程视频。记者登上某网站发现，该网站已有大量训练好的声音模板，包括雷军、郭德纲、周杰伦、丁真等明星名人。此中，雷军的AI声音累计被使用的次数凌驾7万次，丁真AI声音模子使用次数超33万次，位于榜首。

生成AI声音非常简单。记者测试发现，对于已有模子的AI语音，只需输入想要生成的语音文本，3秒钟即可生成相应的音频。没有模子怎么办？根据该网站提示，只需上传最短10秒钟的语音素材，不到1分钟即可训练出新的声音模子，整个操纵过程零技术门槛、零成本。也就是说，只要获取10秒钟的语音，任何人的声音都能被AI“偷走”，生成不实内 容。除了某些软件和网站外，网络购物平台上也有人工代做的服务销售，称“仅需一句话，克隆任何声音，还原度99.99%”。

如何防范：留意面部特性口型是否匹配

随着AI技术的迅猛发展，AI生成的信息使得公众难以辨别真伪。《2024年人工智能安全陈诉》表现，基于AI的深度伪造敲诈在2023年激增30倍。那么，平常人如何一眼辨认换脸毛病，加以防范？中国网络空间安全协会人工智能安全管理专业委员会委员张博表现，如今AI换脸技术已经比力成熟，以致能够实现视频通话的及时换脸，虽然单凭肉眼很难分辨，不外只要稍加把稳，AI换脸照旧有显着毛病，毛病就在面部轮廓和光线上。

“视频通话时要过细观察对方的面部轮廓是否存在非常的含糊环境，光线是否正常。”张博说，“如果有须要的话，可以要求对方快速大幅度地仰面、颔首、转头，然后过细观察这个过程中，面部轮廓是否有非常含糊。”

专家教各人如何辨别AI换脸。 央视消息截图

那么，我们又如何辨别AI换脸变声呢？中国移动信息安全与管理运行中央副经理王晓晴表现，一方面要查抄面部特性，观察心情、动作以及声音和口型的匹配度；另一方面，核实信息泉源，让对方用手遮住面部或举行其他面部动作判定画面是否连贯。

预防个人隐私信息泄漏，也必要网民一样平常留意。专家称，不要泄漏个人信息，尤其要留意图像、声音、指纹等生物信息的掩护。AI换脸的数据底子是被模拟人的照片、视频等，个人公开在外的照片、视频越多，意味着AI算法参考的数据越多，生成的“数字人”会更真实。在涉及资金买卖业务等场景下，必要多把稳眼，不轻易相信视频、声音。很多时间，传统的辨认方式要比技术辨认更有效。

除了个人留意甄别和信息掩护，我们也必要立法给AI技术应用套上法律缰绳。此前，我国已出台了《中华人民共和国网络安全法》《互联网信息服务算法保举管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律、行政法规和部门规章。2023年，最高人民法院、最高人民查察院、公安部团结发布的《关于依法惩治网络暴力违法犯罪的引导意见》中规定，对“使用‘深度合成’等生成式人工智能技术发布违法信息”的环境，依法从重处罚。

本年9月14日，国家网信办草拟的《人工智能生成合成内容标识办法（征求意见稿）》，现在已完成社会心见征集。该办法出台后，将进一步增强对AI生成技术的约束和规范，督促服务提供者和网络平台负担起应有的法律责任。上海人工智能研究院数字化管理中央主任彭嘉昊以为，面临天天产出的大量视频，监控、管理的难度相对而言比力大，约束这些服务的提供商才是综合管理这类变乱的焦点动作。

消息延伸
四招预防个人信息泄漏

陌生WiFi不要连

在公共场合连接免费WiFi时，极易碰到非法分子搭建的盗窟WiFi。

垂纶链接不要点

一些非法分子会冒充银行、学校等机构给用户发送短信或邮件，以“关照”“账户验证”等名义诱导用户点击此中的网址链接。

不明二维码不要扫

二维码应用场景非常广泛，而且制作简单、真伪难辨，经常被非法分子用于流传手机病毒和恶意软件。

个人信息不要晒

机票、证书、照片等内容中包罗姓名、身份证号、手机号、关键位置等个人信息，如果随意晒在朋侪圈等交际平台，大概会导致信息泄漏。

上游消息据光明日报、读特消息、央视消息、大众消息、新京报、江西公安微信公众号、央视财经、法治日报等综合