因此，一旦您了解了用于选择候选名单的基础知识，
模型，接下来你要做的就是查看基准测试。
现在，正如我将在本周晚些时候介绍的那样，基准测试只能带您到目前为止，基准测试是
这不是验证模型是否适合您的问题的最终方法，但这是一个好的开始
观点。
当我们讨论如何选择正确模型的策略时，我们将详细讨论这一点，
但这些基准为您提供了一种早期指导，允许您选择模型的子集。
并且有许多不同的基准。
评估模型的方法有很多，但有一些确实很难。
有一些确实具有挑战性的测试，使我们能够区分不同的模型
最多。
这些就是我现在要和你们一起经历的，但还有更多，我会
向您展示一大堆，因为出于某种原因，我对基准测试和比较着迷
llms。
但我们现在要讨论这六个，然后我们会看看一大堆，你会得到一个
对于如何判断不同 LMS 的功能，感觉非常好。
所以我们要考虑的第一个指标称为 G。
这代表 Google Proof Q&A。
你可能想知道谷歌证明到底意味着什么。
好像谷歌可以证明这一点。
这有点相反。
这是 448 道困难的物理化学和生物学问题。
当我说困难时，这就是我的意思。
如果你把它交给非博士学位级别的人，比如我自己，我就是一个博士学位级别的人。
呃，你给我这些问题。
呃，也许你也是博士级别的。
也许你是。
但是如果你要回答这些问题，那么平均而言，你会在这些问题上得分 34%，即使
你可以访问谷歌，并在半小时内进行你想要回答这些问题的尽可能多的研究
问题。
分数仍然只有34%。
这就是为什么它们被认为是 Google 证明的原因。
因为即使是谷歌也没有。
你能解决它们吗？
是的，博士水平的人类在这些问题上的能力是 65%，65% 是博士水平。
当他们推出这个测试时，GPT 已经持续了四天。
GPT 4 的得分比非博士水平高出 39%。
这被认为是太棒了。
这被视为一个非常严格的基准。
所以我现在问你的问题是你认为当前的前沿模型正在用 Gpca 做什么。
请记住这些数字，博士学位水平是 65%。
您认为前沿模型已经达到物理、化学、生物学的博士水平了吗？
我会让你做出决定，稍后我们再看看。
下一个指标是 MMA。
Pro MMA 是一个非常常见的基准测试，您随处都可以听到。
它代表大规模多任务语言。
理解大量问题，测试模型展示其对含义的理解的能力
的某事。
但该指标被认为是有缺陷的，因为它太简单且易于建模。
而且它也有歧义。
所以这只是一个糟糕的测试。
曾经被多次引用，直到人们普遍认为这不是一个稳健的测试。
所以他们推出了 MLU Pro，这是不同的。
这是一个更难的问题。
模型不再给出只有四种可能性的多项选择答案，而是得到十种可能性
的可能性。
他们的歧义已被消除。
问题很难。
这是一个可靠的、呃、值得信赖的指标，你应该留意。
然后目标是一个你可能已经知道的测试。
您可能听说过这个。
这是一项由高中生参加的竞争性数学、智力竞赛。
但这不是。
这不是典型的高中考试。
这就像顶部。
表现最佳？
呃数学。
在学校。
他们竞争性地、竞争性地进行这项工作，并参加数学奥林匹克竞赛。
这是非常非常困难的问题之一。
你可以查一下，看看我肯定会问的问题，我也肯定不会问
能够做到其中任何一个。
向模型提出这组问题来衡量他们解决数学问题的能力。
这不像心算。
它们都是数学难题，然后是实时代码台。
实际上，我们将研究许多不同的编码基准。
这是其中之一。
这是评估模型根据问题编写代码能力的基准。
呃，来自 LeetCode 和 Codeforces 等网站上的竞赛。
并且，还有这个特定的基准。
他们努力确保谜题有很大的变化，这样模型就不能只是看到它
他们在训练数据中并熟悉谜题。
它们在不断变化。
然后穆萨是我的最爱之一，因为它有如此美好、有形的部分。
但 Musa 是一种多步骤的软推理，是关于模型思考某事的能力。
所以它的目的是特别将推理模型带入表面。
基本上，该模型会被问到许多不同的问题。
共有三个类别，但我最喜欢的是有关犯罪悬疑的类别。
侦探小说。
呃，特别是它给出了一个一千字的谋杀之谜，它问了一个问题，谁
有办法、有动机、有机会吗？
所以它必须阅读这个故事并得出结论。
我认为这太棒了，因为它有点像现实世界的谜题。
这就是缪斯的工作方式。
这是三类测试之一。
最后但绝对不是最不重要的，最后但也是最重要的。
事实上最后但也是最重要的是一个大家都喜欢的基准，它被称为HL，它代表
你可能知道这一点。
它代表人类的最后考试。
这是为了测试超人的智力水平。
这应该是我们能想到的最难的测试。
这实际上是为了回应这样一个事实：每次我们设置困难测试时，模型似乎只是
在大约一年的时间里，他们似乎找到了如何通过变得更好来粉碎它
更好的。
因此，HL 的想法是建立一个迄今为止尚未完成的测试，它有 2500 个最先进的测试。
你可能想象到的极其复杂的问题。
我们会看看其中的一些，你会想，什么？
呃，HLA 出来的时候，也就是 2024 年晚些时候，嗯，模型就在
得分可能有2%、3%。
所以他们的表现仍然不佳。
但从那时起，这仍然是一个重大举措。
呃，再说一遍，就像 Gpca 一样，我会让你思考你的想法，你认为我们现在处于什么位置。
还不赶紧查一下。
等我们到了再看看你是不是对的。
至此，我们就结束了对这六个硬基准的研究。
还有许多其他更简单的方法可以权衡不同的因素。
但我喜欢这些，因为它们具有挑战性，你真的可以区分什么是最佳性能
看起来像今天。
您可以观察这些指标，了解明年情况如何变化。
也许当你观看这些视频时，当我向你展示数字时，模型将会有
将从现在的位置继续前进，这真的很令人兴奋。
还有一个原因，这是我喜欢观看基准测试的众多原因之一。