“AI换脸”诈骗430万,如何用“法”打败“魔法”?
深度合成技术作为人工智能领域最有生命力的运用,其必将会在今后迸发出极大的生产力,也正因如此,该领域的合规问题必须受到重视。
撰文:飒姐团队
核心提示
-
“AI 换脸 10 分钟狂骗 430 万”新闻中直接利用 AI 换脸骗取钱款的行为人构成诈骗罪,若 AI 换脸技术的提供方与行为人共谋,则 AI 换脸技术提供方(自然人)构成诈骗罪的共同正犯。若双方无共谋,则 AI 换脸技术提供方则有可能构成帮助信息网络犯罪活动罪。
-
“AI 换脸 10 分钟狂骗 430 万”新闻中提及的技术即 AI 深度合成技术,是广义的 AIGC(人工智能生成内容)技术群的组成部分,目前在我国,深度合成技术直接受到《互联网信息服务深度合成管理规定》的规制。今年 4 月,国家互联网信息办公室管理《生成式人工智能服务管理办法(征求意见稿)》亦公开征求意见,该意见稿定稿发布后,深度合成技术将受到进一步规制。
-
除刑事犯罪外,未经允许运用 AI 换脸等深度合成技术还可能构成侵犯肖像权、侵犯名誉权等民事侵权纠纷,目前司法实务中已经存在 AI 换脸技术构成民事侵权的判决例。
-
涉及深度合成等技术的 AIGC 创业公司需要遵守信息发布审核、个人信息保护等 20 个合规义务,以确保自身业务合规,具体合规内容可见文末。
AI 换脸新骗局,中国互联网协会发文提醒
就在几天前,内蒙古包头等地出现 AI 换脸新骗局,被害人好友突然通过微信视频联系被害人,并称自己在外地竞标,需要 430 万保证金,且需要对公账户过账,需要借被害人的公司走账。被害人基于对好友的信任,加之已经视频聊天确认了其身份,便分两笔将 430 万转到了好友的银行卡上。事后被害人拨打好友电话才知道被骗。在该案中,骗子通过 AI 换脸技术将自己在微信视频中伪装成被害人好友的样子,再利用声音合成技术合成被害人好友的声音,进而对被害人实施诈骗。
针对日渐猖獗的 AI 换脸诈骗事件,多地发文提醒公众注意防骗风险。5 月 23 日,四川绵阳市反电信网络诈骗中心发出预警,提醒公众注意相应的诈骗风险。就在昨天,中国互联网协会向公众发出预警,今年以来,伴随着深度合成技术的开放开元,深度合成产品和服务逐渐增多,利用“AI 换脸”、“AI 换声”等虚假音视频进行诈骗、诽谤等的违法行为屡见不鲜。
目前世界范围内有据可查的第一起利用深度合成技术的诈骗案件发生在 2019 年。
深度合成诈骗第一案
2019 年 3 月,一家国际能源公司首席执行官接到了一个未知来电,很快,他就认出了电话那头的人——德国母公司的 CEO,也是他的顶头上司。在这通电话中,母公司 CEO 表示当前公司出现运营危机,急需世界各地分公司紧急提供 220000 欧元或 243000 美元的资金支援,随后这位母公司 CEO 提供了一个匈牙利的银行账户,并宣称该笔资金需要直接支付给某匈牙利供应商,母公司将在资金周转过来后为分公司报销这笔支出。虽然该指示听起来不是既不合规又不靠谱,又涉及如此大的一笔资金流转,但被害人考虑再三还是选择了执行命令,原因很简单:电话里的声音确实是自己的顶头上司无误,甚至连那标志性的轻微德国口音和语气习惯都与自己老板平时说话时毫无区别。至此,虽然受害人还有所怀疑,但依然向“老板”电话中提供的匈牙利账户完成了转账。在这起案件中,被转出的资金从匈牙利流向墨西哥,然后再被分散到其他地方,截至 2023 年 5 月,涉案资金仍未追回。
正因上述案件在全球范围内层出不穷,传统的技术中立观点在法学界已经鲜有支持,各国对于深度合成技术亦逐步加强监管。《互联网信息服务深度合成管理规定》是我国专门规制深度合成技术的规范性文件。除此之外,《网络安全法》《数据安全法》《个人信息保护法》《互联网信息服务管理办法》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》等亦涉及到对深度合成技术的规管。当然,《刑法》作为最后的保护手段,亦有诸多罪名可规制利用 AI 深度合成技术犯罪的行为。
AI 换脸技术服务提供者有构成帮信罪的刑事风险
不可否认目前深度合成技术是“朝阳产业”,随着技术迭代深度合成技术成本急剧降低,相关企业甚至可以达到通过“走量”赚取暴利,根据调查,目前制作一套“露脸且说话”视频的成本低至数十元,且只需要提供正面照片就能生成视频,生成的视频不仅眼睛、嘴巴、头会动,如果提供文字和声音内容,甚至口型都能对得上,而这一切只需要几小时就可完工。有商家称利用照片生成一段 1 分钟时长的视频仅需要 30 元,质量要求不高的几元就可以做到。
值得注意的是,这类行为具有巨大的刑事风险,《中华人民共和国刑法》第二百八十七条之二规定了帮助信息网络犯罪活动罪。帮助信息网络犯罪活动罪即明知他人利用信息网络实施犯罪,为其提供互联网接入、服务器托管、网络存储、通讯传输等技术支持,或者提供广告推广、支付结算等帮助,情节严重的行为。此处的“明知”在实务中往往通过客观证据即可认定,而不依赖于行为人的主观说辞,同时,为客户提供 AI 换脸技术,亦可以被解释为“为其提供……等技术手段”。换言之,在 AI 换脸技术引发的电信诈骗案件如此猖獗的情况下,客户无正当理由,且没有显著证据证明其获得了照片人的认可而要求 AI 换脸技术提供者利用照片生成视频,而相关技术提供者制作了视频,又被客户用以行骗时,AI 换脸技术提供者极易陷入帮助信息网络犯罪活动罪的刑事风险之中。
未经允许的 AI 换脸技术亦有可能构成严重的民事侵权
除上述构成帮助信息网络犯罪活动罪之刑事风险外,未经允许的 AI 换脸技术亦有可能构成严重的民事侵权行为,实际上这种判决例已经出现。如在(2022)沪 0116 民初 13856 号肖像权纠纷判决中,被告上海某科技有限公司在其运营的“AI 换脸”软件中使用了古风汉服模特廖某所拍摄的古风造型视频模板。本案中,原告廖某对肖像享有肖像权,并且被告虽然将原告视频中的人物形象的脸部进行替换,但仍能通过其他未修改的相应场景和细节识别出对应主体为原告廖某。原告据此主张被告构成肖像权侵权。AI 换脸技术作为一种典型的与肖像有关的技术,其破坏了肖像和主体的同一性,一方面肖像主体有权拒绝其身体形象被冠以他人面目,另一方面肖像主体也有权拒绝将其面部形象嫁接至他人身体之上。结合一般肖像权侵权的构成要件,以 AI 换脸技术侵害肖像权的构成要件为:1.自然人对特定肖像享有肖像权;2.行为人无论是否具有盈利目的,未经他人同意利用信息技术手段对权利人的肖像进行篡改、伪造和自动生成,产生难以甄别的效果。
除肖像权侵权外,利用 AI 换脸技术制作恶意丑化他人的视频、图片并在互联网上广泛传播的,则有可能构成名誉权侵权。如在实际生活当中存在大量利用换脸视频调侃明星、网红的情形,例如制作换脸恶搞视调侃某明星唱、跳、打篮球的技巧问题,就有可能构成名誉权侵权。
写在最后
深度合成技术作为人工智能领域最有生命力的运用,其必将会在今后迸发出极大的生产力,也正因如此,该领域的合规问题必须受到重视,这是深度合成技术健康发展的前提,在当今法学界,纯粹的技术中立学说已经鲜有人主张,技术本身具有自己的价值倾向性已经深入人心,基于深度合成技术的各种风险,飒姐团队总结了相关从业者的合规边界以及 20 个合规义务,以此助力深度合成产业健康发展并供从业者参考:
生成内容的合规边界
-
不得从事涉政涉黄;
-
不得合成虚假新闻,非持牌不得传播非国家规定范围内的单位发布的新闻;
-
不得违背公序良俗(例如第三者如何抢夺原配家产);
-
不得生成违法和不良信息,这方面可以健全相应“特征库”,筛选健康信息;
-
不得恶意贬损他人名誉和企业商誉(法律后果是会被起诉名誉权侵权);
-
对于不可控的创作内容,及时删除降低社会危害。
具体的合规义务
-
健全用户注册制度;
-
算法机制机理审核;
-
科学伦理审查;
-
信息发布审核;
-
数据安全管理制度;
-
个人信息保护制度;
-
反电信诈骗制度;
-
应急处置管理制度;
-
在 App 或网站,公开管理规则、平台公约,完善服务协议,以显著方式提示各方承担信息安全义务;
-
健全用于识别违法和不良信息的特征库,留存日志;
-
发现违法和不良信息,有向主管机关报告的义务;
-
发现违法和不良信息,对使用者依法依约,采取处置措施;
-
全辟谣机制;
-
设置便捷申诉和举报入口,及时反馈结果;
-
加强训练数据管理;
-
定期审核、评估、验证生成合成类算法机制机理;
-
依法自行或委托专业机构开展安全评估;
-
对生成内容,采取技术措施添加不影响用户使用的标识;
-
不得删除、篡改、隐匿深度合成标识;
-
按照《互联网信息服务算法推荐管理规定》履行备案、变更、注销备案手续。
比推快讯
更多 >>- 区块链B2B支付公司Paystand收购Teampay
- 美股区块链板块普跌
- CARV完成1000万美元A轮融资
- 交易员将美联储首次降息时间推迟至12月
- CME美联储观察:美联储5月维持利率不变的概率升至99.7%
- 美国退休顾问金融公司GRP已在7只比特币ETF中持有投资敞口
- 美国Q1 GDP低于预期 核心PCE物价指数大幅反弹
- 美元指数DXY短线下挫超20点,30年期国债收益率升至4.81%
- 国际象棋策略游戏Anichess完成180万美元融资
- 在美国财长耶伦背后展示“Buy Bitcoin”的笔记本以超100万美元价格售出
- 贝莱德IBIT现持有约27.44万枚BTC
- Moso完成200万美元种子轮融资
- 新加坡法院驳回加密投资公司Cake Group联创的清算请求
- 去中心化AI搜索引擎Adot完成300万美元Pre-A轮融资
- 据称美SEC将于下月拒绝批准现货以太坊ETF
- 以太坊周三的NFT日销售额超713万美元
- 通用验证层Aligned Layer完成2000万美元A轮融资
- 币安已开放BounceBit(BB)Megadrop
- 自推出以来,符文交易占所有比特币交易的68%
- 加密矿企Argo去年开采1760枚比特币,实现5060万美元收入
- IRISnet 3.0升级拟于5月中旬发布,新增LSM支持
- NFT抵押借贷市场Q1交易量超20亿美元创新高,环比增长44%
- 财新:内地投资者目前尚不可参与买卖香港虚拟资产现货ETF
- Web3社区游戏平台Iskra完成战略轮融资,Animoca Brands参投
- 贝莱德确认与Hedera并无商业关系,并未选择Hedera来代币化任何贝莱德基金
- Ki Young Ju:韩国加密交易量全球领先,但却是Web3创业环境最差的国家之一
- 参与OneCoin计划的又一人员被捕,美检方已对其提起诉讼
- 欧盟反洗钱法案通过最终投票,将加强尽职调查措施和对客户身份的检查
- 数据:NFT借贷市场第一季度交易量超 20 亿美元,环比增长 44%
- USDC Treasury销毁超9500万枚USDC
- 美国联邦检察官指控加密混合器 Samurai Wallet 创始人洗钱和未经许可的资金转移罪
- Glassnode:比特币的通胀率现已低于黄金
- 毕马威调查报告:2023年加拿大75%的机构投资者拥有加密资产
- 某交易员向币安转入395枚BTC,或意在出售
- S&P Global:如果美国最新的稳定币法案通过,Tether 主导地位将被削弱
- 数据:符文代币DOG上线4小时内交易额突破100枚BTC
- Polygon Staking钱包地址转出3000万枚MATIC,价值超2100万美元
- TON:已向JVT持有者和ANON交易者空投约2万枚TON
- Chainlink宣布其跨链互操作协议 CCIP 进入全面可用阶段
- 日本金融服务提供商Monex Group 完成对加密资产公司 3iQ 多数股权的收购
- Deribit 衍生品交易所约 94 亿美元的加密货币期权将于本周五到期
- 今日美国9只现货比特币ETF共增持949枚BTC,净流入约6188万美元