“康熙皇帝有几个儿子”“请列出康熙皇帝儿子的姓名名单”“请给我一份康熙的儿子名单”,将这三条指令发送给 人工智能 大模型,猜猜答案是啥?
让人意外的结果出现了:不仅不一样的大模型回答不一样,即便是同一个大模型,答案也有偏差。好比,有的定论统计了康熙所有的儿子数量,表示共有35人,包含正式排序的儿子和早殇未排序的儿子;有的只列出了正式排序的24个儿子;还有的没有任何解释,列出了儿子的姓名,但顺序错乱……
不同大模型甚至同一个大模型的回答,其实不一样
为啥有明确答案的问题,会引发 人工智能 大模型的“错乱”?
“AI幻觉”搬弄是非
“这正是 人工智能 ‘一本正经瞎说’的表现。”申城好网民专家、中国网安协会 数据安全 专家、 上海临港 数据评估有限公司总监宗良接受上海辟谣平台专访时指出,要谨防 人工智能 大模型做假这一新趋势。
他介绍, 人工智能 “一本正经地瞎说”其实有个专有名词,叫“AI幻觉”,即大模型提供了看似合理但有错漏的定论。如果公众相信,可能挨坑被骗。
其实,在今年的世界 人工智能 大会上,很多业界人士都提到了“AI幻觉”“可信大模型”等概念,并披露了多个 人工智能 大模型“做假”或“说谎”的案例,希望引起各界关注。
蚂蚁集团大模型应用部总经理顾进杰指出,目前公开的模型都存在不同类型的“AI幻觉”,大模型给出的结果甚至可能与真相截然相反。
好比,某研究报告称功能饮料中的 维生素 、矿物质等对于运动后快速补充身体营养、消除疲劳具有相应的作用。但大模型在回答相关问题时,居 然表示相关微量元素在增加疲劳上有相应的作用。
再好比,一般蚕可以活30多天,其中从孵化到结茧根据季节不同,大约是25天至32天,变成蛹后有15天至18天,最后成蛾是1天至3天。可有大模型在介绍这一规律时,将蚕结茧的时间与成蛹的时间搞混了,输出的定论完全误导了询问者。
基于这些“AI幻觉”,专家呼吁,公众要小心谨慎看待大模型输出结果。虽然“百模大战”提供了获取信息的新方式,但不能轻信。其实,已经出现了大模型为了证明自己没有错而做假的现象。好比,ChatGPT在谈及葡萄牙某银行破产事件时撒谎了,而且为了证实自己,它甚至编造出了所谓的信源网址。
大模型有短板,打标签刻不容缓
为啥大模型会给犯错误的定论,成为做假的源头呢?
这与大模型的数据库、语料库、算法、检索能力甚至“理解能力”等有关。合合信息智能创新事业部总经理唐琪说,如果将大模型比喻为正在疾驰的科技列车,语料库便是珍贵的“燃料”,因为大模型的练习源自语料库。
对国内的大模型开发企业而言,语料库短缺问题比较严峻。因为当前大模型数据库以英文居多,中文语料占比较低。还有,图表、复杂公式等元素处理也是大模型语料处理中的“拦路虎”。在金融报表、行业报告等文档中,表格中的数据指标非常重要,但部分大模型而言其实不能正确“理解”表格里行、列、单元格的意义,造成大模型对整个表格的识别结果发生误差,最终得犯错误的定论。
大模型要能够“读懂”图表
基于此,在关注大模型“炉火纯青”时,也要关注大模型的短板。积极信号是,越来越多的大模型开发者开始关注“可信大模型”。有的开发出“大模型加速器”,帮助大模型理解图表等相对复杂的语料库,从源头为大模型训练与应用输送纯净“燃料”;也有的在大模型开发中引入对应的技术,尽量消除“AI幻觉”,助力大模型跑得更快更稳。
不过,基于大模型存在短板、会不自觉地“做假”这一现状,业界人士提出,有必要强化为AI生成该内容“打标签”。一方面,对于AI生成的内容,大模型开发者应采取技术措施添加标签,对可能造成公众混淆或误认的,更要明显标识。另一方面,信息发布平台要加强管理,督促上传信息者为AI生成内容打标签,帮助公众区分。
普通人识别大模型做假,有诀窍
宗良提醒,AI幻觉本质有两种,一种是完全的“瞎说”,另一种是部分内容不准确或不完善。对后者而言,虽然不完全正确,但仍有相应的参考价值。同时,也不能完全否定“AI幻觉”的价值,因为这也是AI创新的起点。
当然,从准确获取信息的视角看,公众还是要对大模型输出结果或生成的内容保持戒备。眼下,部分自媒体或非法分子开始批量通过 人工智能 生成各类文章,乍一看似乎与正常的媒体报道无异,但可靠性大打折扣,很多是为了博眼球之作。
不过,大模型的生成结果仍旧有迹可循。公众可以通过部分关键词、行文格式等,识别由 人工智能 生成的文章。
其一,此类文章会在特定的关键词、用语、表述等方面形成固化形式,有点类似“小编给你说说某件事,某件事是啥呢,小编给你说说”这样看似合理却没有实际意义的内容。
其二,在 人工智能 生成的文章中,会出现一些通用关键词,包含“以下是 XXX 的常见方法和手段”“通过上述手段”等,这实际上就是大模型通过检索信息后进行的归纳。公众如果看到这些关键词,无妨提高警觉,不要轻信。
其三,需要各方可通力合作,培养公众的数字素养,提高公众对大模型做假等深度虚构的理解和鉴别能力。