安大互联
财经热点 > 财经资讯 > 如果不法分子利用Sora造谣传谣 - 我们该如何识别?
【人工智能】如果不法分子利用Sora造谣传谣 - 我们该如何识别?
浏览次数:【864】  发布日期:2024-2-22 7:35:21    文章分类:财经资讯   
专题:人工智能】 【Sora】 【不法分子
 

  不久前,美国 人工智能 研究公司OpenAI的文本生成视频大模型Sora备受关注。但在被认为 人工智能 技术取得新进展的同时,担忧也随之而来:假如非法分子利用Sora做假、诽谤,普通人又咋识别呢?

  当前的Sora其实不完善,有些视频因为逻辑错误,能够轻易鉴别——红酒杯掉在桌面上,杯子没有碎,酒已经洒了一桌;考古学家挖掘出一把椅子,椅子自己开始跑动……但从OpenAI发布的多段样片看,“以假乱真”的案例更多,包含讨论最多的那段走在东京街头的时尚女郎,不论是背景中的城市,还是女主角脸上的雀斑、墨镜里的倒影等细节,几乎无懈可击,靠肉眼完全无法鉴别是拍出来的还是 人工智能 生成的。

  于是,有人提出假设:如果用 人工智能 技术看Sora的视频,能不能识别出来呢?

  一个案例是让谷歌发布的 人工智能 大模型Gemini 1.5观看并分析 Sora 生成的视频。在观看完一段主题为“樱花雪景”的视频后,Gemini 判断这段视频是假的,理由如下:樱花一般在春季开放,那时不下雪;雪下得太均匀了;虽然是下雪天,但视频中的人物穿得很薄弱。

  Gemini给出的理由未必都站得住脚,不过提供了另一种思路:面对 人工智能 做假,技术打假变得越发重要。

“有视频有真相”成为历史

  Sora的发布,意味着“假消息”“假新闻”正不断迭代。因此,对那些习惯于从短视频平台获取信息的网友而言,真的不能再随意相信那些视频了。

  目前,许多人关注Sora在电影等娱乐内容生产上的应用,可实际上它也会改变新闻的生产方式和流程。眼下,用技术炮制的“假新闻”雨后春笋,已经改变了很多惯有理念:图文时代,人们认为“有图有真相”,结果发现图可以P;视频时代,许多人觉得“有视频有真相”,但在出移花接木等做假手段上,如今又出现了Sora,用 人工智能 直接生成视频,连原始素材都不在需要。

  据此,中央民族大学新闻与流传学院教授郭全中认为,Sora的出现造成视频生产门槛大大降底,新闻伦理会受到很大冲击。

  合合信息图像算法研发总监郭丰俊也指出,随着 人工智能 技术的发展,深度做假(Deepfake)造成的治理危机将更加明显。所谓“深度做假”,是指基于深度学习等机器学习方法,建立或合成视听觉内容,如语音模拟、图像、音视频、文本等。因此,不论是已经出现的AI换脸,还是Sora,都能看作深度做假的典型应用。

  新技术、新应用虽然能帮助很多行业开脱简单或重复的劳动,或让创新灵感变得更加容易实现,但也会发生一定的不良影响。好比,别有用心之人利用深度做假技术,能更轻易地盗用他人身份、编造相关信息,实施商业诋毁、讹诈勒索、网络攻击和犯罪等犯法行为。再好比,非法分子借助深度伪造技术,散布虚假视频,激化社会矛盾,煽动暴力行动,要挟国家安全和公共安全等。

  可见,Sora是一把双刃剑。管理部门、业界应当重视针对相关技术的监察管理,而对普通人而言,也要有所警觉:“有图有真相” “有视频有真相”都已经成为历史。

“打标签”有帮助么?

  如果肉眼无法分辨视频真伪,那有啥办法来区分呢?

  就目前业界的探索看,“打标签”似乎最容易、最直接。

  多名社交平台从业者表示,不论国内外,现有的法律法规都没有禁止 人工智能 生成的内容在社交平台流传。其实,从技术的视角看,平台也未必有能力判断相关内容是“ 人工智能 生成的”还是“真实拍摄的”。因此,眼下各平台的普遍做法是要求发布者对该类生成内容打标签,而且不仅仅涉及大模型生成内容,还包含那些摆拍、编剧、剪辑的作品,都要打上标签。

  作为大模型的开发者,谷歌和OpenAI也在研究“打标签”——通过后台设置,为所有通过网络其大模型生成的内容打上水印,告知用户。

  然而,“打标签”或“打水印”无法从根本上解决深度做假的问题。

  一方面,根据目前社交平台的治理方式,有相当一部分“打标签”行为得依靠发布者。从上海辟谣平台澄清的谣言看,其中不乏断章取义、移花接木、摆拍编造的作品,但拍摄者和发布者并没有打上相关标签。

  可见,就治理成果而言,“打标签”并没有将做假行为剪草除根。虽然有的视频经过平台自治或网友举报被标记、删除,但仍有大量假视频、假消息。

  另一方面,即便大模型开发企业通过技术设置,使得大模型生成的文字、图片、视频等被强制“打标签”、告诉公众它们来自 人工智能 而非现实,但从现实流传看,相关标签、水印可能在分享中被人故意抹除,截屏、录屏、二次剪辑加工等,都能轻松去除标签和水印,从而使得公众越发难以识别。

  如此看来,“打标签”只是防范深度做假的初步手段或基础手段,效果未必理想。或许是出于这一考虑,OpenAI在公开介绍Sora时也承认,该模型还存在一些安全风险,所以暂时不会面向公众开放。

“用魔法打败魔法”

  那么,有啥方法能更加精准地识别深度做假呢?

  Gemini对Sora生成内容的真假判断,提供了另一条思路——用 人工智能 识别 人工智能 。很多业界人士将此比喻为“用魔法打败魔法”,认为通过技术手段,有机会从根本上识别深度做假并降低相关风险。

  OpenAI也表示,正在进行相关研究,包含研发能检测误导性内容的文本分类器、图像分类器等,“在OpenAI产品中,我们的文本分类器会检查并拒绝违反使用政策的文本输入,包含涉及极端暴力、性、冤仇、名人肖像、他人IP等内容,并进行相关提示。我们还开发了强大的图像分类器,用于审查生成视频的每一帧,以确保它在向用户显示前,符合我们的使用策略。”

  不过,这些仍能看作企业的自律行为。就整个行业而言,来自第叁方的“魔法”同样重要——因为内容生成企业的“规范”建立在该企业自身的价值基础上。如果研发企业本身“做恶”,如何指望“自律”行为能防范风险呢?

  正因为此,很多第叁方企业与机构开启了“鉴别深度伪造”技术的研发之路。

  郭丰俊介绍,国内外已经有很多企业专注于鉴别 人工智能 篡改,其中包含大量中国企业,如 中国电信 等央企,瑞莱智慧(RealAI)、 中科睿鉴等大专院校与科研院所孵化的科技公司,和网易,合合等深耕 人工智能 行业多年的技术企业。总体而言,国内科研团队在鉴别深度做假方面的成绩已经处于世界先进水平,多个国内研究团队曾在国际颇有知名度的篡改检测大赛中获得好成绩。

  更积极的成果在于“用魔法打败魔法”在国内已经有落地案例。他举例,比较典型的是在金融领域,已经有很多金融机构利用国内技术企业自主研发的 人工智能 甄别伪造人脸图像技术,来判断相关人脸图像是真实的还是合成的,或被AI换脸。这一技术主要应用在银行及金融领域的顾客图像、视频真伪检测上,能避免身份偷盗和欺诈,保护财产安全。

  不过,业内人士也指出,“用魔法打败魔法”依旧任重道远。随着深度学习和计算机视觉等领域技术的不断进步,篡改甄别技术需要不断升级并拓展应用场景。在这个进程中,需要更多的企业、社交平台参与,共同为“科技向善”努力。

手机扫码浏览该文章
 ● 相关资讯推荐
2024-9-20【通信设备】中东火药桶临近引爆点 OpenAI新一轮融资已接近完成 - 环球市场
2024-9-17【微信支付】注意!微信提醒 - 有不法分子以-百万保障-名义实施诈骗
2024-9-13【OpenAI】AI新时代揭幕!会-思考解题逻辑-的OpenAI推理大模型登场
2024-9-10【格灵深瞳】视觉模型底座超越OpenAI,格灵深瞳开启多模态落地的Scaling - Law
2024-9-8【英伟达】AI周报-xAI上线全球最大AI训练集群;谷歌高管警告称AI未必能影响生产力
2024-9-7【消费者】积分清零?小心陷阱!
2024-9-7【投资者】切勿上当!中信建投证券发声明 - 有不法分子假冒其名义从事非法证券活动!
2024-9-7【投资者】切勿上当!中信建投证券发声明 - 有不法分子假冒其名义从事非法证券活动!
2024-9-5【不法分子】警惕老骗术披上新外衣
2024-9-3【不法分子】交易商协会紧急声明 - 将报案
 ● 相关资讯专题
通信设备】  【黎巴嫩】  【OpenAI】  【微信支付】  【不法分子】  【百万保障】  【GPT】  【大模型】  【思考解题逻辑】  【格灵深瞳】  【多模态】  【英伟达】  【xAI】  【生产力】  【消费者】  【积分清零】  【投资者】  【中信建投证券】  【APP】  【以旧换新】  【中国银行间市场交易商协会】 
  • 网络建设业务咨询

   TEl:13626712526