商业洞察
【OpenAI】OpenAI的推理模型有时会用中文-思考- 背后原因众说纷纭
【查看信息来源】 1-15 2:38:55据媒体透露,在 人工智能 (AI)研究公司OpenAI 发布其首个推理AI模型o1不久后,人们发现了一个奇特的现象,即便在用英文提问的情景下,o1有时会中途使用中文、波斯语或其它语言进行推理。
例如,当被问及“Strawberry”(草莓)这个单词里有几个字母“r”时,o1会通过一系列推理步骤得出答案。如果问题是用英文写的,o1的最终回答通常也会是英文,但在推理进程中,它可能会用另一种语言处理部分步骤,然后得出结果。
一些人在网络社区讨论了这一现象。“(o1)推理到一半时突然开始用中文‘思考’了,”一位 Reddit用户写道。
另一位X平台上的用户发帖询问:“为啥(o1)会突然用中文思考?整段对话(超过5条消息)里压根没有涉及中文。”
OpenAI尚未对o1的这种怪异行为作出解释,也木有承认这一现象的存在。AI专家对此也木有确切答案,但提出了一点理论。
AI 专家众说纷纭
在X平台上,包含AI草创公司Hugging Face首席执行官Clément Delangue在内的多人提到,像o1这样的推理模型是用包含大量中文字符的数据集训练的。
谷歌DeepMind的研究员Ted Xiao指出,包含OpenAI在内的企业使用了来自我国的第叁方数据标注服务,而o1切换到中文可能是“中文语言对推理的影响”的一个例子。
标注在模型训练进程中帮助模型理解和解释数据。例如,训练图像识别模型的标注可能包含围绕物体的标记或描述图像中每个人、地点或物体的文字说明。
然而,其它专家其实其实不认同关于“o1使用中文数据标注”的猜想。他们指出,o1在推理进程中同样可能切换到印地语、泰语或其它非中文的语言。
这些专家认为,o1和其它推理模型可能只是选择了它们认为最有效的语言来完成任务,或是出现了“幻觉”。
“模型其实其实不晓得语言是啥,也不明白语言之间的区别,”阿尔伯塔大学的 AI 研究员兼助理教授Matthew Guzdial表示。“对它而言,一切都只是文本。”
Hugging Face软件工程师Tiezhen Wang同意Guzdial的说法,他认为,推理模型的语言不一样性可能源于模型在训练期间与特定语言建立的某些关联。
“通过接纳每一种语言的细微不同,我们扩展了模型的世界观,让它从全面的人类知识中学习,”Wang在X上写道。“好比,我喜欢用中文做数学计算,因为每个数字都只有一个音节,这让计算变得简洁高效。但在涉及无意识偏见这样的话题时,我会自动切换到英语,主要因为这些概念是我最初用英语学习和吸收的。”
非营利组织艾伦 人工智能 研究所的研究科学家Luca Soldaini则指出,目前无法确定造成这一现象的核心原因。
“由于这些模型非常不透明,对已部署的AI全面的这种观察是无法证实的。这正是为啥AI系统开发进程中的透明性极为重要的原因之一,”Soldaini表示。