安大互联
财经热点 > 财经资讯 > -三只羊-录音门言论系AI伪造,嫌犯所用平台由00后创办
【谢伟铎】-三只羊-录音门言论系AI伪造,嫌犯所用平台由00后创办
浏览次数:【703】  发布日期:2024-9-27 19:24:04    文章分类:财经资讯   
专题:谢伟铎
 

  合肥警方9月26日通报,网传“三只羊”卢某某的酒后言论系AI工具伪造。南都记者了解到,涉案嫌疑人用以伪造卢某某言论的AI声音克隆平台为“Reecho睿声”。该平台由一位00后创业者开设,今年2月正式上线。

  涉案卢某某言论的流传,正值MCN公司“三只羊”陷入直播带货夸大宣传“香港美诚月饼”的舆论漩涡。据南都此前报道,在网络流传的录音中,卢某某对“三只羊”处理客诉问题、竞争对手等发表了相关看法,还提及“与三只羊女主播之间的不正当关系”。录音引发烧议后,多位被提及的主播公开辟谣。 图片

合肥市公安局高新分局的警情通报。

  9月26日晚间,官方证实涉案卢某某录音不实。合肥市公安局高新分局通报称,已将犯罪嫌疑人王某某(男,25岁)抓获,并在其电脑、手机和制作AI音频的网站中发现伪造相关音视频的证据;结合其供述、调查取证,并经部、省专业机构检验鉴定,认定报案所涉网传音视频系伪造。

  据通报描述,现已查明,9月16日,王某某利用从互联网下载的音影像资料,杜撰卢某某酒后言论脚本,先使用AI工具训练生成假冒卢某某的音频,后用视频软件合成音视频,其中出现的女声也系AI工具训练生成。王某某通过网络发布音视频,形成谣言大量流传。目前,王某某已经被依法采取刑事强制措施,案件正在进一步侦办中。

  9月27日,深圳言域科技有限公司(下称“言域科技”)在官微发出的声明说,经与合肥警方配合查实,涉案嫌疑人伪造卢某某录音所用的平台,确系该公司旗下的“Reecho睿声”。嫌疑人上传卢某某此前直播片段的约30秒录音完成克隆,并通过输入文本进行生成。言域科技还贴出警方发出的取证通知书予以佐证。 图片

言域科技官微贴出的公安取证通知书。

  言域科技开创人兼总裁谢伟铎向南都记者回忆,合肥当地警方在嫌疑人个人电脑设备发现了其“Reecho睿声”的账号和使用记录,于是来到言域科技取证,从公司服务器调取了嫌疑人生成克隆录音的详细记录,包含音频生成的时间、被克隆的样本、用来生成录音的脚本等,做了证据的校验和留存。

  针对嫌疑人作案手法,谢伟铎补充说,在平台克隆完成卢某某涉案音频之后,造成公众误判的关键一步是对生成的音频进行翻录。因此涉案音频中出现背景环境噪音,发生录音的感觉,而且翻录一遍之后很难听出其中一些细节。

  “Reecho睿声”官方网站显示,该平台的语音大模型已预先经过海量中文音频的练习,训练的内容涵盖多种类型,但最多的是有声读物与常规对话音频。如果用户提供的克隆音频样本和目标文本是此类内容,在生成语音时通常会取得较好的效果。

  谢伟铎说,最短3秒钟的音频素材,就能生成比较真切的片段。前提是这3秒钟的音频尽可能丰满和清晰,能展示出声音的特征。

  愈发真切的声音克隆,也容易造成诈骗和虚假信息等社会治理难题。知名电脑安全技术公司McAfee去年5月发布的一项全球性调研显示,在接受调查的7000人中,四分之一的受访者表示经历过AI语音克隆骗局,70%的人表示不相信自己能分辨出克隆的声音和真实的声音。

  谢伟铎对记者说,言域科技采取了风控合规措施。首先是严格要求用户用国内手机号进行实名认证,甚至结合人脸认证,确保是我在使用该账号;其次,公司也引入敏感词监测和预警系统,如果用户输入一些涉黄、涉暴、涉政的敏感词,后台系统可以预警和拦截;另外,平台为生成的音频添加了隐形可溯源的“ 数字水印 ”,可以直接追踪到生成者的具体身份。

  加强AI内容标识,成为监管职能部门当前的治理重点方向之一。9月14日,国家网信办发布《 人工智能 生成合成内容标识办法(征求建议稿)》(下称《标识办法》),拟细化网络平台和用户的AI内容标识义务,避免公众混淆误解。其中要求提供生成合成服务的网络信息服务提供者,如果提供相关法规提及的深度合成服务类型,务必对生成合成内容添加显式标识和不容易被用户明显感知到的隐式标识。

  具体到音频,《标识办法》拟要求在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等显式标识。不过,谢伟铎表示,显式标识非常容易被篡改,如果直接铺满整个音频,又会影响到生成音频的可用性。因此,实践中更多依靠隐式标识来防范,将一些隐藏的身份信息通过技术手段穿插到整个音频的频谱,能抵抗加速、减速、剪切等音频编辑操作。

  据谢伟铎介绍,由于平台上生成的音频长度有限,能承载的信息相应受限,言域科技嵌入的隐式标识主要是用户ID。有了ID符号,可以反向追溯到用户手机号和使用记录等信息。

  谢伟铎计划后续上线AI克隆音频鉴伪平台,让监管职能部门和民众辨析音频是否来源于言域科技。

  不过,当前对言域科技更为紧迫的合规风险在于算法备案。根据现有法规,具有舆论属性或社会动员能力的深度合成服务提供者,需履行算法备案义务,而言域科技并未完成这项义务。谢伟铎回应称,目前正在进行算法备案。 图片

“Reecho睿声”官方网站截图。

  作为一名00后的创业者,言域科技是谢伟铎的第壹份创业项目。该公司2023年12月注册成立,今年2月正式上线AI声音克隆平台“Reecho睿声”。谢伟铎说,这款产品面向短视频制作者、景区导游解说、地铁语音播报等应用场景。好比,健身平台Keep使用“Reecho睿声”制作健身课程。

  目前,言域科技完成了天使轮融资,由奇绩创坛投资。谢伟铎说,言域科技的商业模式大体分为两类:按克隆角色的数量收费,或根据生成脚本字符的数量计费。他计划下一步将“Reecho睿声”缔造成“声音界的闲鱼”, 任何人可以把自己的声音上架到该平台,授权他人使用,从其它人的使用中拿到分成。

手机扫码浏览该文章
 ● 相关资讯推荐
2024-9-30【合合信息】南财合规周报-第160期- AI伪造三只羊录音流传;民宿行业偷拍情况遭曝光
2024-9-29【人工智能】-卢某某录音-系AI合成 记者实测 - 3分钟你的声音就可被克隆
2024-9-27【谢伟铎】-三只羊-录音门言论系AI伪造,嫌犯所用平台由00后创办
2024-9-28【2024】新消费日报 - 三只羊被罚后月饼、牛肉卷启动退一赔三;今日起 淘宝可使用微信支付……
2024-9-26【2024】罚没6895万元!暂停经营!三只羊深夜回应
2024-9-27【2024】罚没6895万元!暂停经营!三只羊深夜回应!合肥警方 - 网传卢某某音视频系伪造
2024-9-26【2024】三只羊违规被罚 - 小杨哥近30日粉丝量跌去近400万
2024-9-24【直播带货】三只羊系列账号复播再停播,直播带货如何保障消费者权益
2024-9-22【有限公司】三只羊月饼风波未平 网红-李炮儿-称已解约!账号也将解绑
2024-9-22【美的集团】科技周报-安全专家复盘黎巴嫩寻呼机爆炸,三只羊、与辉同行月饼均惹争议
 ● 相关资讯专题
合合信息】  【数据安全】  【人工智能】  【谢伟铎】  【2024】  【微信支付】  【投资者】  【上半年】  【羊公司】  【直播带货】  【消费者权益】  【有限公司】  【李炮儿】  【美的集团】  【黎巴嫩】  【寻呼机】 
  • 网络建设业务咨询

   TEl:13626712526