LLM 数学基准测试集 FrontierMath 公布：号称业界模型均败北

摘要： 直播吧月日讯俱乐部杯广东加时不敌北控赛后广东男篮主帅杜锋出席发布会谈到球队外援他说道我觉得还要磨合莫兰德对是比较了解的阿姆斯还需要时间和球队一起磨合熟练期待他后面的表现吧之家月日消...

直播吧11月17日讯CBA俱乐部杯，广东79-82加时不敌北控。赛后，广东男篮主帅杜锋出席发布会。谈到球队外援，他说道：“我觉得还要磨合。莫兰德对CBA是比较了解的，阿姆斯还需要时间和球队一起磨合熟练，期待他后面的表现吧。

IT之家 11 月 15 日消息，研究机构 Epoch AI 现公布了一款名为 FrontierM h 的全新 AI 模型数学基准 集，旨在评估系列模型的数学推理能力。

与现有诸如 G -8K、MATH 等 题集不同，FrontierM h 中的数学问题号称特别复杂，收录了现代数学中的数论、代数和几何等领域，这些题目的难度据称极高，甚至人类专家解答往往需要数小时甚至数天的时间。

IT之家获悉，FrontierM h 的题目由人工智能学方面资深专家设计，相应问题号称不仅要求 AI 理解数学概念，还需要具备复杂情境的推理能力，以避免模型利用以前学习过的类似题目进行比对作答。

研究机构表示，他们利用 FrontierM h 对当前市场上的 AI 模型进行初步 ，发现这些模型普遍表现不佳，包括此前在 G -8K、MATH 上取得近乎满分成绩的 Claude 3.5 和 GPT-4 等模型在 FrontierM h 中的解题成功率也均败北（成功率低于 2%）。

研究团队指出，AI 在 高级数学问题时的主要困难在于这些模型通常依赖于训练数据中学过的类似题目来生成 ，而不是对问题本身的逻辑结构进行真正的理解和推理。这意味着目前业界大部分 AI 模型只要遇到没学过的题目，就容易出错，而这一原则性的问题难以实际上无法通过“暴力增加模型规模” ，需要研发人员从模型推理架构层面进行深入改造。