你是否曾刷到过张伯礼院士“带货”视频？不久前，网络中出现了这样一个视频，视频中张伯礼院士正在为某美白护肤品进行宣传。其实，这些全是AI伪造的。张伯礼表示气愤又无奈：网络虚假视频误导消费者，破坏市场秩序。
不仅有“AI张伯礼”，此前的“AI张文宏”“AI靳东”、”AI雷军”……自AI生成技术普及以来，一批AI在声音、视频领域的技术滥用、侵权问题引发大众关注。
如果今天有“AI专家”“AI明星”泛滥成灾，你是否担心明天“AI爸妈”“AI班主任”“AI领导”成了不速之客，用高科技给你挖大坑？！
近日，中国工程院院士、天津中医药大学名誉校长张伯礼在网上为美白产品“带货”的视频引发关注，在这则AI合成的假视频中，“天津老张”的形象和声音都达到以假乱真的效果。
随着科技发展，一些不法分子靠AI技术冒充名医、名人进行虚假宣传，对公众实施诈骗，部分账号通过伪造明星口播视频牟利超百万。
知名电脑安全技术公司McAfee（迈克菲）发布的一项全球性调研显示，在接受调查的7000多人中，四分之一的受访者表示经历过AI语音克隆骗局，70%的人不能分辨克隆声音和真实声音。
不久前，网上出现“张文宏医生”带货的视频，其售卖一种蛋白。有老人信以为真下单购买。但该医生澄清，视频中的人物并非他本人。经核实，“医生带货视频”为AI合成。AI诈骗已渗透至社交陷阱、消费欺诈、信息泄露，甚至商业诈骗等多项高频场景。
01
震惊一时，香港发生“2亿AI诈骗案”
香港某跨国公司曾发生一起极具戏剧性的AI诈骗案。跨国工程公司Arup香港分公司一员工收到"总部高管会议"邀请，进入视频会议后看见多位"高管"实时发言讨论收购案，实则全员皆为AI伪造的虚拟人像。犯罪分子通过收集高管公开视频资料，生成真假难辨的数字化身，连声音、微表情都高度还原。该员工在逼真场景中依指示将2亿港元分转至5个账户，五日后与总部核实才发现受骗。
这起2022年的"全息会议诈骗"暴露出深度伪造技术的危险性。仅一年间，AI视频合成技术已从需要数小时素材训练，进化至通过3秒语音+1张照片即可生成动态形象。全球已出现多起类似案件，如美国能源公司雇员因AI仿声电话损失百万美元，迪拜某财务总监遭遇"数字双胞胎"诈骗等。
02
AI换脸，低至9块9
凤凰网科技调查发现，某社交平台存在大量"AI换脸服务"交易帖，评论区充斥"视频/照片随便换"等留言。有卖家宣称"明星换脸影视级效果，50元/分钟"，并提供规避平台审核的暗语沟通服务。还曾有媒体报道，某二手交易平台存在大量低价AI换脸服务：用户仅需支付9.9元并提供5秒视频+清晰照片，即可获得定制换脸视频；2.9元可购得含500+明星模板的换脸APP安装包，部分工具支持实时视频换脸。
一些专业开源软件搭配全网传播的"保姆级"教学视频，形成灰色产业链，某视频平台"AI换脸"相关教程播放量超800万次，评论区出现"求明星合成资源""有偿代训练模型"等违法交易信息。
报道披露某地警方破获的换脸诈骗案中，犯罪分子使用境外服务器+虚拟货币交易，从接单到销毁证据全程仅72分钟。技术专家指出："9.9元换脸服务的背后，是日均10TB的违法数据流动。"
03
深度伪造下的全民冒险
2024年1月，OpenAI更新了使用条款，不再禁止技术用于军事和战争目的，特别是美国高科技公司与美国国防部及情报部门合作。这也意味着AI技术将成为一把锋利的双刃剑，将产生严重的安全问题。由于深度伪造技术可能对信息真实性带来颠覆性的影响，包括政治舆论操纵、军事战争虚假信息等，这些都可能威胁到了社会稳定与国家安全，更令人心惊的是，这种技术平权正衍生出针对普通人的“精准狩猎”。
深圳市反诈中心2023年5月通报过一起案件，某公司财务人员被AI伪造的「董事长」视频指令诈骗200万元；
福州一位母亲收到“女儿”被绑架的AI合成视频，诈骗者声称需支付50万元赎金，经查犯罪分子仅使用其女抖音跳舞视频进行声画伪造；
河北保定女孩欣欣遭遇AI换脸侵权。其社交账号照片被他人盗用，通过Deepfake技术制作传播不良视频，并泄露其姓名、学校等个人信息。
更令人担忧的是，部分用户对AI“一本正经地胡说八道”盲目信任。如缺乏甄别能力的老年人群体，正在被各类“赛博乖孙”控制。有网友说自己的奶奶最近经常对着手机屏幕“哎”，仔细一看才发现视频中是手拿元宝，一口一个奶奶的AI生成乖孙。
当技术门槛不断降低，每个普通人将参与到这场全民技术冒险之中，成为施害者与受害者。
中国社会科学网曾刊登了黑龙江大学信息管理学院张涛教授和计算机与大数据学院王磊教授的合著论文《深度伪造技术的风险与治理》，他们认为，在深度伪造视频中，事实和真相不断被伪装和改造，产生了情感煽动和认知偏见的问题。
04
AI克隆骗局，管不住了吗？
有研究认为，在法律规制层面，现行制度呈现明显滞后性和监管真空。AI诈骗的实施基础是大规模收集个人隐私信息，当诈骗分子非法获取包含社会关系、财务数据、生物特征等敏感信息后，其实施诈骗的条件即初步具备。现行《数据安全法》虽发挥一定作用，但在技术标准、保护范围及措施方面仍需完善。
生成式AI模型迭代速度与检测技术发展存在明显的时间差，容易形成“技术代差陷阱”，使得新型诈骗手段往往在监管响应前已造成规模化危害。
近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》，自2025年9月1日起施行，其中对此进行了明确规范，《标识办法》明确，在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。
AI技术本身并无善恶之分，但如何引导其健康发展，已成为当前面临的课题。正如全国人大代表、中国科学院大学讲席教授、知识产权学院院长马一德所言：“面对AI深度伪造技术带来的新挑战，我们需要在技术创新与防范风险之间寻求平衡。”
你遇到过哪些“AI大忽悠”
你对新兴高科技产品是否有过怀疑
面对技术飞速迭代
你一般如何甄别和自我保护
对AI视频合成这件事
你怎么看？
欢迎评论区留言
编 辑 | 马媛
来源 | 新京报 凤凰网科技 中国社会科学网 北京青年报 第一财经 南风窗 澎湃新闻 泉州网 首都网警 中国经济网 央视财经 中国科学院 两半财经 等
