上海AILab搭台,36个大模型一起角逐长上下文建模能力

科技有夕小瑶 2024-08-08 15:16:46

现在的大模型论文简直像是在比长度,动不动就上百页!记得前阵子小编瞅见那份90页的Gemini技术报告,顿时脑袋嗡嗡作响。那会儿就幻想着:要是有个AI大脑来啃下这些"学术巨无霸",那岂不是爽歪歪?

没想到过了几个月,这个幻想竟然实现了!如今大语言模型正在挑战这一难题,试图成为我们阅读长文本的得力助手。但问题是,这些AI助手自己对付长文本的能力如何呢?

近日,上海AI实验室推出了一个名为NeedleBench的评测框架,对36个主流大模型展开了一场别开生面的"长文本大比拼"。这项研究不仅测试了模型们在不同长度文本上的表现,还设计了一系列渐进式的挑战任务,就像是给LLMs出了一道道难度递增的阅读理解题。

3.5研究测试:hujiaoai.cn4研究测试:askmanyai.cnClaude-3研究测试:hiclaude3.com

有趣的是,在这场比拼中被誉为"LLM界的高考状元"的GPT-4竟然只拿到了第二名!反倒是Claude-3-Opus后来者居上,一举夺魁。这个结果让不少人大跌眼镜,也引发了业界对大模型长文本能力的新思考。

研究还发现,虽然这些AI模型在找出单一关键信息方面表现不错,就像能准确回答"课文第三段第二句说了什么",但在需要综合分析、逻辑推理的复杂问题上,它们却显得有些力不从心。这就好比,LLMs能轻松找出文中的重点句,却在写读后感时犯了难。

系好安全带!咱们马上就要深入剖析这项研究的"秘笈",看看AI大脑是如何对付这些"学术巨无霸"的。顺便也畅想一下,未来的AI说不定能一口气吞下整本百科全书呢!

论文标题:NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

论文链接:https://arxiv.org/pdf/2407.11963

LLM的长文本挑战

大语言模型(LLM)在处理短文本方面已经表现出色,但长文本处理仍是一个重要挑战。想象一下,如果LLM能轻松理解冗长的法律文件或学术论文,这将为我们的工作和学习带来巨大便利。

近期,各大AI公司在这一领域纷纷展示了自己的实力。OpenAI的GPT-4 Turbo可处理128K个词元,Anthropic的Claude 3系列声称能处理超过100万词元,Google的Gemini 1.5更是宣称支持数百万词元的处理能力。开源模型如GLM4-9B-Chat和InternLM2.5-7B-Chat也加入了这场竞争。

然而,仅仅能处理长文本是不够的,关键在于是否真正理解内容。为此,上海AI实验室推出了NeedleBench评测框架。这个框架不仅测试模型的长文本处理能力,还考察它们的信息检索和逻辑推理能力。

NeedleBench的核心是在长文本中植入关键信息,然后测试AI是否能准确找出这些信息并进行复杂推理。特别值得一提的是"祖先追踪挑战"(ATC)任务,它模拟了现实世界中复杂的逻辑推理问题。

研究结果显示,当文本长度增加到约1120个词元时,大多数开源模型在处理复杂逻辑问题时的准确率显著下降。这表明,即使是最先进的AI模型,在长文本的深度理解上仍面临挑战。

下图呈现了三个顶级模型(GPT4-Turbo、Claude-3-Opus和GLM-4)在ATC测试中的表现。从图中可以看出,随着上下文长度和复杂度的增加,即使是这些顶级模型的表现也呈现出明显的下降趋势。特别是当上下文长度达到1988个词元,包含77个需要追踪的信息点时,所有模型的得分都大幅下降。这一结果凸显了长文本处理,尤其是涉及复杂逻辑推理时,对AI模型的巨大挑战。

通过NeedleBench,我们看到AI在单一信息检索方面表现出色,但在需要深度理解和复杂推理的任务中仍有提升空间。在我们使用LLM时需要合理评估LLM的能力边界。

如何测试AI的"阅读理解"能力

NeedleBench评测框架设计了一系列任务,全面考验AI的信息检索和逻辑推理能力。这个框架包括三个主要任务:单针检索任务(S-RT)、多针检索任务(M-RT)和多针推理任务(M-RS)。

下图展示了NeedleBench的框架结构。左侧展示了单针和多针检索任务,中间部分展示了多针推理任务,右侧则呈现了祖先追踪挑战(ATC)的不同拓扑结构。这张图直观地展示了从简单的信息检索到复杂的逻辑推理,NeedleBench如何逐步增加任务难度。

在多针推理任务中,研究团队利用了 数据集。下图展示了这个数据集中推理步骤的分布情况。从图中我们可以看出,大多数推理问题涉及两到三个步骤,少数问题需要四步或更多步骤来解决。

祖先追踪挑战(ATC)是NeedleBench的终极挑战。这个任务要求AI在长文本中追溯复杂的家族关系。研究团队设计了不同拓扑结构的家族关系,包括链状、树状和图状。

研究人员展示了关键信息("针")放置在文本开头、中间和结尾的情况,直观地说明了任务的设计方式。下图展示了在文本开头的例子。

下图则展示了多针检索任务的样例,其中包含了五个需要AI模型同时检索的信息点。

除此之外,文中还展示了多针推理任务的样例,要求模型不仅要找到相关信息,还需要基于这些信息进行推理。

祖先追踪挑战(ATC)任务的设计通过一系列示例和最终挑战问题来测试AI模型的复杂逻辑推理能力。这个任务包括四个引导示例和一个终极挑战问题,旨在全面评估模型的深度理解能力。特别值得注意的是,带有推理路径的示例清晰地展示了如何评估模型的逻辑推理过程,不仅关注最终答案,还重视模型如何一步步得出结论。这种设计方法有效地测试了AI是否真正理解了复杂的家族关系,以及是否能够基于给定信息进行多步推理。

评分系统采用Levenshtein距离来衡量AI回答与标准答案的相似度,同时考虑关键词的出现情况。这种评分方法不仅看重整体表达,还关注核心要点的把握。

通过这一系列精心设计的任务和评估方法,NeedleBench全方位地考察了AI的长文本处理能力,从简单的信息检索到复杂的逻辑推理。

LLMs的'阅读成绩单'

NeedleBench评测框架为36个主流大模型提供了一份全面的"阅读成绩单",涵盖了从4K到1000K token的多个文本长度区间。这些模型包括了Claude-3-Opus、GPT4-Turbo等顶级商业API模型,以及众多开源模型如InternLM、Qwen和Baichuan系列等。

在NeedleBench评测框架中,研究团队采用了一种复杂而全面的评分机制来衡量AI模型的表现。这个评分系统的核心是一个基于Levenshtein距离的公式,用于计算模型预测与参考答案之间的相似度。

具体来说,评分公式如下:

其中, 和 分别代表模型的预测和参考答案; 是与每个 相关的核心关键词集合; 是 和 之间的Levenshtein距离; 和 分别是 和 的长度; 是一个惩罚因子,设定为0.2。

评测结果呈现了一幅复杂的AI能力图谱。在32K token的测试中,Mixtral-8x7B Instruct v0.1模型以89.38的总分位居榜首,展现了优秀的综合能力。紧随其后的是Qwen-1.5-72B-vLLM和ChatGLM3-6B-32K,分别以82.36和82.86的总分展示了强劲实力。这些结果表明,即使是参数量较小的模型,通过精细调优也能在特定任务上与大模型比肩。

当文本长度延伸至200K token时,能够支持如此长文本的开源模型数量显著减少。在这一挑战中,InternLM2-7B-200K模型表现出色,尤其是在单针检索任务中几乎达到了完美表现。然而,同一模型在多针检索任务中表现不佳,暴露出在指令遵循方面的不足。

文章中还对不同模型在200K token内的结果进行可视化,随着文本长度的增加,模型效果普遍下降。

更具挑战性的是1000K token测试。在这一极限测试中,仅有InternLM2.5-7B-Chat-1M和GLM4-9B-Chat-1M两个模型参与。结果显示,InternLM2.5-7B-Chat-1M在大多数任务中表现优于GLM4-9B-Chat-1M。特别值得注意的是,通过调整提示策略,GLM4-9B-Chat-1M的性能得到显著提升,这凸显了提示工程在发挥模型潜力中的重要作用。

祖先追踪挑战(ATC)任务的结果尤为引人注目。API模型在这项任务中展现出明显优势,Claude-3-Opus以57.61的总分领先,其次是GPT4-Turbo(48.29分)和GLM-4(42.99分)。在开源模型中,DeepSeek-67B表现最为出色,总分达到44.03,接近顶级API模型的水平。这一结果显示了开源模型在缩小与商业API模型差距方面的潜力。

ATC测试还揭示了一个普遍趋势:随着上下文长度和复杂度的增加,几乎所有模型的表现都呈现下降趋势。特别是当推理步骤达到16步左右时,大多数开源模型的准确率降至10%以下,即使是在仅有约1120个词元的情况下。这一发现凸显了AI在处理复杂逻辑关系时面临的巨大挑战。

研究还发现,模型规模与性能之间并非简单的线性关系。例如,在Qwen系列中,72B参数版本在某些任务上的表现不如参数较少的版本。这一发现强调了模型优化策略的重要性,而不仅仅是增加参数量。

此外,实验结果还揭示了模型在指令遵循方面的有趣现象。一些模型在被要求回忆更多信息点时,反而提高了对第一个信息点的回忆准确率。这种看似矛盾的现象为未来的模型优化提供了新的思路。

总的来说,NeedleBench的评测结果不仅展示了当前AI模型在长文本处理方面的进展,也揭示了它们在复杂推理任务中面临的挑战。同时,实验也展示了一些意外发现,如某些模型在多信息点检索时表现出的非线性改善,以及模型规模与性能之间的复杂关系。

总结与展望

上海AI实验室推出的NeedleBench评测框架为我们呈现了一场精彩的长文本处理能力大赛。在这场由36个大模型参与的角逐中,我们看到了令人意外的结果:被誉为AI界顶尖选手的GPT-4仅排第二,而Claude-3-Opus摘得桂冠。这一结果不仅展示了AI技术的飞速进步,也反映了长文本处理领域的激烈竞争。

NeedleBench的评测结果揭示了当前AI模型在长文本处理方面的优势与挑战。虽然在单一信息检索任务中表现出色,但在涉及复杂逻辑推理的长文本任务中,即使是最先进的模型也面临显著困难。特别是在祖先追踪挑战(ATC)中,随着推理步骤的增加,几乎所有模型的性能都出现了明显下降。

这些发现为AI技术的未来发展指明了方向。首先,提升模型的长文本理解和复杂逻辑推理能力仍是一个重要课题。其次,模型规模与性能之间的非线性关系提醒我们,未来的研究不应仅仅关注增加参数量,还要着重优化模型结构和训练策略。最后,某些模型在多信息点检索时表现出的非预期改善,为我们提供了新的研究思路。

未来,我们期待看到更多针对长文本处理和复杂推理能力的创新。这不仅将推动LLM在学术研究、法律分析、商业智能等领域的应用,还可能带来AI理解和处理信息方式的根本性变革。

0 阅读:1

科技有夕小瑶

简介:感谢大家的关注