10分钟被“好友”骗走430万元！如何警惕AI“深度造假”？

近年来，随着人脸识别技术的广泛应用和人工智能技术的进步，一些不法分子开始利用AI技术融合他人面孔和声音、制造逼真的合成图像来实施新型网络诈骗，类似骗局手段多样、门槛低、辨别难度大，经常让人防不胜防，短时间内造成较大损失。那么，如何警惕AI“深度造假”？

公司老板遭遇AI换脸诈骗

10分钟被“好友”骗走430万元

今年5月8日，内蒙古包头市公安局电信网络犯罪侦查局发布了一起使用智能AI技术进行电信诈骗的案件。4月20日，福建省福州市某科技公司法定代表人郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走账。

这位“好友”向郭先生要了银行卡号，声称已把钱转入郭先生的账户，并将银行转账截图发给郭先生。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。对方通过智能AI换脸技术，佯装成好友对他实施了诈骗。

民警陈歆怡曾办理过多起倒卖、非法利用用户人脸照片的侵公案件，她表示AI换脸换声的基本逻辑是通过深度学习特定算法，将目标人物的人脸、表情、声音等嫁接进模仿的视频中，成本低、合成速率高、检测鉴别难度大，一般人很难发现伪装痕迹。目前，AI诈骗主要有两种形式：

第一种是通过技术手段合成换脸、换声的视频或语音，在视频聊天、普通电话中直接播放。这种诈骗主要出现于比较紧急的情况，如遭遇事故求助等，播放结束后就会中断连接，无法与被害人形成回合性对话。

另一种是在视频通话中直接换脸并替换声音，或直接换声拨打电话。

民警提示，以上两种诈骗方式都受限于样本数量，所以可以通过延长通话时间、多次进行提问的方式让对方多说话，露出破绽。

如何预防此类诈骗案件的发生？

2022年，网信办、工信部和公安部制定的《互联网信息服务深度合成管理规定》明确，深度合成服务者应采取技术或人工方式对使用者的输入数据和合成结果进行审核。今年8月，网信办发布的《人脸识别技术应用安全管理规定(试行)(征求意见稿)》明确，人脸识别技术使用者应每年对图像采集设备、个人身份识别设备的安全性和可能存在的风险进行检测评估，采取有效措施保护图像采集设备、个人身份识别设备免受攻击、侵入、干扰和破坏。

北京航空航天大学法学院副教授赵精武表示，相关部门加强监管的同时，也需要公众自身树立起良好的防诈骗意识。“涉及到转账等财务信息的电话请求，采取其他方式跟好友进行确认。”

民警进一步强调，要想从源头上预防此类诈骗案件的发生，保护好个人信息是关键：

不要随意接听陌生电话，防止诈骗人员以电销推广等借口采集发音、语句；

避免在个人互联网社交账户上过多暴露个人照片、声音、视频等信息；

对外提供人脸照片时需谨慎对待；

使用小众软件进行身份认证、网络贷款实名放贷时需提高警惕；

不要随意点击陌生链接，链接中的木马程序会窃取用户手机内的照片、监听回传通话内容；

开启定位服务、输入身份证号、录入人脸识别信息、指纹识别信息等个人生物信息时，一定要慎之又慎。

此外，民警表示，各APP网络服务提供者在收集、使用个人信息时应遵循合法、正当、必要、公开的原则，不得收集与其提供的服务无关的个人信息，应当采取技术措施和其他必要措施，确保其收集的个人信息安全，不得主动向外提供，也要防止信息泄露、毁损、丢失。

如何实现安全和便捷兼备的AI验证模式？对此，赵精武认为，二者的平衡有探讨的空间。“需要结合AI技术的发展动向进行同步调整，也需要服务提供者在相关深度合成产品和服务中增加‘AI生成’的标识机制，降低第三方识别AI生成内容的难度。”