红腾网 OpenAI新幻觉论文惹争议！GPT-5拉胯是测试基准有问题？？
henry 发自 凹非寺红腾网
量子位 | 公众号 QbitAI
OpenAI好不容易发了篇新论文，还是给GPT-5挽尊？
最近，《语言模型为何会产生幻觉？》这篇论文火了。
它提出模型有幻觉是因为：标准的训练和评估流程，更倾向于奖励“猜对”，而非承认不确定。
正因如此，模型在面对不确定的问题时，往往会选择冒险猜测以获得更高评分。
所以，为了让模型“老实说不”，就应该重新设计评估指标，从而鼓励模型承认自己不会，惩罚随意猜测。
而好巧不巧的是，OpenAI自家的GPT-5就最不爱猜测。
于是，眼尖的网友开始“虾仁猪心”地盘OpenAI的核心逻辑：
GPT-5表现不好➔不是模型拉垮➔是现有测试基准出了问题➔GPT-5幻觉少刷不上分➔所以应该重新设定指标。（完美闭环）
您不会是为了给GPT-5挽尊，所以想找个新基准吧？
所以，这究竟是OpenAI为了GPT-5这口醋才包的饺子，还是说真的揭开了大模型幻觉背后的更深层问题？
要回答这个问题，得先看这篇论文到底说了什么。
OpenAI重新定义“幻觉”在论文中，OpenAI将幻觉定义成：语言模型生成的看似合理却错误的答案。
例如，当你问一个聊天机器人：“Adam Tauman Kalai的博士论文题目是什么？”它可能自信满满地给出三个完全不同的答案——但没有一个是正确的。
再比如，你问它某人的生日，它也可能报出三个不同日期，全都错得离谱。
通俗点说，就是模型看起来很有底气，但实际上在“瞎蒙”。
这种一本正经的胡说八道不光体现在复杂问题上，也发生在简单的问题上。
而就像开头提到的，GPT-5虽然在推理上幻觉更少，但仍无法彻底消除。
而无法消除的原因就是当前的评估方法设置了错误的激励机制红腾网。
具体来说，当前评估方法普遍以“准确率”为唯一指标，鼓励模型“大胆猜测”而不是诚实地说“我不知道”。
这就像选择题考试里，瞎蒙可能得分，留空必然为零。
长久以来，这种类似选择题考试的排行榜就驱动模型学会了“自信地错”。
而老实的GPT-5就由于不够“自信”，在各大榜单上表现不佳。所以，我们要（换个榜单！）
此外，当我们回顾语言模型的训练时，就可以发现，语言模型的预训练目标是预测下一个词，但没有“真/假”标签来区分正确与错误事实。
因此，模型只能看到流畅语言的正例，并近似这些语言数据的整体分布。
所以，对于语言模型来说，拼写等规律性强的模式可以学会，但低频、随机的事实（如生日）却无法仅靠预测获得，因而幻觉在所难免。
最后，OpenAI 提出要更新评估机制：错误应比“放弃作答”受到更大惩罚，恰当的“不确定表达”应获得部分分数。
而这一更新的范围不光是小范围的测试，而应该是一切被广泛使用、基于准确率的评估方式。
论文一经发布，就立刻引起了网友们的广泛讨论。
当我们谈论幻觉时，我们在在谈论什么？除了我们最开头的“动机论”，网友们主要关注以下三个方向：
幻觉是否普遍——大语言模型生成的内容是否全都是幻觉；幻觉产生的原因——包括模型的“做题策略”、语言知识的局限性，以及统计学习方法的内在缺陷；幻觉的应用与应对——例如在创意写作中如何利用幻觉，以及当模型总是回答“不知道”时该怎么办。接下来，让我们具体来看。
大模型生成的内容是否都是幻觉？对于模型的幻觉问题，有网友提出了相当激进的观点：
大语言模型的所有输出都是幻觉，只不过其中一些幻觉是真实的。
这一观点涉及到了大语言模型的核心：大语言模型能知道、理解、明白它所输出的东西吗？
对此，有网友表示，如果过于形而上，我们无法讨论具体工程意义上的问题。
这就是说，虽然模型只是在预测下一个token——但这并不意味着所有输出都是幻觉。
如果真是这样，那么这个术语就毫无意义了，而且它忽略了一个事实：由于规模、训练和微调，有些模型产生的幻觉比其他模型少得多。
模型的做题策略
针对大模型的“投机蒙题技巧”，有网友做了分析。
大模型本质上是基于概率分布做“词语接龙”，所以我们往往用答题的准确率来近似衡量模型的表现。
在选择下一个概率token时，如果模型不知道答案，但随便猜一下，就可能碰巧答对；
而如果选择不答，就一定得零分。于是，模型就被“鼓励”去猜，而不是说“我不知道”。
语言知识的局限性此外，还有网友把讨论延伸到了语言本身的局限性上，讨论相当哲学。
首先，语言并不等于真理。所以，想完全消除LLM “不真实”的输出，本身就有点奇怪。
其次，是关于“真值”的问题。在计算机科学里，“一致性”常被用作判断真假的指标——只要输出符合系统已有的真值，就算是真，即便它可能违背“常识”。
而确定一个陈述究竟是真是假，或者它是否超出了系统的知识范围，是机器智能中的老大难问题，涉及知识图谱等整个子领域，这根本不是 LLM 最初要解决的目标。
大语言模型本质上是文本生成器，它非常擅长根据提示和从训练语料中学到的模式撰写“读书报告”，但要逐条分析报告中的每一句话，判断其真假或未知性，则完全是另一回事。
这个问题在人工智能领域已经研究了60年，因此指望在下个季度就把它彻底解决并整合到GPT-5中，未免有些自不量力。
最后，则涉及到知识的流动性。
由于知识并非是一个线性增长的累积过程，而是一个不断质疑，挑战，更新的过程。就像哥白尼挑战地心说，而后来的天文学又更新日心说一样，知识自身就在不停地流动。
所以，既然大语言模型的数据输入就是固定的，你怎么能指望它一直对呢？
不过，有网友指出这样说很蠢，因为在人工智能领域没有人企图从哲学层面消除幻觉，人们只是在努力降低错误率，因为这会让模型更有用。
统计模型的局限性
还有网友指出，我们用“幻觉”一词描述模型的错误，本身就带有拟人的倾向。
如果停止拟人化，让它回到它本来的本质——一个预测模型——那么预测出错也就不是什么意外结果了。
因为，大语言模型预测的是在给定上下文下最可能出现的词，它们可能预测错误，而当预测错误时，人们就说它“产生了幻觉”。
没有人会质疑天气预测模型为什么不能百分百准确，因为预测本身就可能出错，这是可以理解的。
营销和宣传试图把LLM包装成“逻辑理性的思考者”，等同于人类的思维。但人类在真正思考时知道自己什么时候在“编造”。如果一个人真心相信明显错误的事情，那通常是因为他们在产生幻觉。他们的思维本身并没有错，只是失去了现实的支撑。
不过，也有网友提出了相反意见：语言和预测天气的物理模型就不是一回事，由于文本本身就已经编码了数学、代码和推理，所以将其输出视为“仅仅预测单词”忽略了一个事实，即单词分布编码了信息丰富的知识表示。
这又引出了一个新的问题——我们应该如何看待预测单词呢？
幻觉的应用与应对抛开上面哲学的讨论，不少网友也提出了不少实际的问题。
例如，当我需要模型有“幻觉”帮我写作的时候，他不发散了怎么办？
对此，有网友表示，即使是虚构，也需要一定程度的一致性和连贯性。
比如，如果我要求大语言模型生成一个以中世纪法国为背景的虚构故事，它回应的是一个以中世纪法国为背景的虚构故事，那么这就是对我赋予它的任务的恰当（“正确”）的回应。
但如果它回应的是一个以中世纪英格兰为背景的故事，那就不正确了。
因此，这里的幻觉是不符合虚构设定的输出，而非相对于现实的“幻觉”。
最后，有网友直接发出灵魂拷问：要这么一来，假如模型为了保底，一直拿不回答的奖励，一直说不知道怎么办？
而且对于大多数人来说，相比听到一句不知道，可能更想听到一个看似合理的答案。
所以，你会更希望AI自信地乱答，还是老老实实地说我不知道？
参考链接
[1]https://openai.com/index/why-language-models-hallucinate/
[2]https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf
[3]https://news.ycombinator.com/item?id=45147385
[4]https://www.reddit.com/r/singularity/comments/1n9fued/new_research_from_openai_why_language_models/
— 完 —
量子位 QbitAI · 头条号签约
关注我们红腾网，第一时间获知前沿科技动态
熊猫配资提示：文章来自网络，不代表本站观点。
