继续我们对令人惊叹的人工分析的探索，我们归结为更多细节
在情报评估上，您可以看到它分别针对每个指标的表现。
您可以看到终端工作台就像使用终端进行硬遗传编码一样。
这里还有很多其他人。
人类的最后一次考试我们稍后会谈到。
你知道，那是一件了不起的事。
呃，但你已经记得我挑战你思考你认为顶级模特会做什么
得分。
真的吗？
一开始约为 2%。
3%，我想去年年底。
现在，顶级模型 GPT 5 在人类最后一次考试中得分为 26.5%。
它在短短几个月内取得了巨大的进展，这是可怕的。
我们就这样吧。
通过 HL，您可以看到 Mglu Pro，它的设计要高得多。
Bar 模型在 ML 上的利用率为 90%，因此他们提出了 Lou Pro，但模型的利用率已经达到 88%。
哎呀，这是谷歌证明的问答。
还记得吗？
请记住我所说的是人类水平的表现。
是 65%。
65% 是博士水平的表现。
我想 34% 的人都是像我这样的凡人。
呃，让我们看看它在顶级模型中的得分。
优于 88%，明显优于 65% 的水平。
现在你了解了这里的人。
呃，好吧，怀疑论者会对你说，好吧，但这是 gpca，非常具体的是博士学位级别
关于这些物理、化学和生物问题。
但我们可以问它一些愚蠢的问题，比如在棋盘结束前设置一个棋步。
游戏。
但它做不到。
所以明显有不足之处。
它通常不是博士学位级别的，但有些领域是科学推理的。
Live Code Bench 是我们稍后会讨论的特定编码指标之一，再次强调，GPT
5 是最高的，奇怪的是，比 Codex 稍好一些。
嗯，然后还有更多编码，呃，grok 4 最好遵循说明，
GPT 5 Codex 最强。
然后是数学竞赛、人工智能竞赛、我们谈到的目标竞赛。
呃，GPT 5 Codex 再次名列前茅。
呃，然后 GPT 第五高就在那之后。
因此，有来自详细情报钻探的模型集和结果。
嗯，现在我们将看看您获得的一些其他信息，呃，
人工分析-i．
我应该指出，这是 23 个型号，但您可以选择不同的型号。
您可以来这里选择您想查看的不同型号并进行比较。
你不是，你不限于这些模型。
这个网站真是令人难以置信。
呃，所以你可以通过大量的内容来了解​​不同模型的表现。
呃，这是一个有趣的点。
它使得不同的模型将产生不同数量的输出令牌，特别是当你
思考推理模型。
仅仅说它给出了正确的答案是不够的吗？
你。
您还想了解需要多少思考才能到达那里，因为这会影响时间
和成本。
所以这里有一些东西。
有趣的是，呃，你可以看到不同颜色的推理标记是较浅的
颜色。
答案就在顶部。
它给你真正的感觉，让你感受到这种非常强大的性能。
但这部分是因为它进行了大量的思考、大量的推理。
这就导致了这个非常有用的图表，这是一个成本。
因此比较模型的成本很困难，因为仅比较输入和输出代币的成本，
我想你知道他们有不同的价格点，但这还不够好，因为相同的
正如我们刚刚看到的，不同的模型可能会进行更多的推理。
因此，做同样的事情可能会花费更多。
因此，人工分析解决该特定问题的方式是，他们说，好吧，所以我们将采取
我们的索引，我们许多任务的组合，我们将把它视为标准的尝试。
我们将看到创建此索引需要多少费用，包括需要的所有代币
为了回答所有这些问题而产生。
这给了这个，这个，这个真的，呃，很好，简单，丰富的方式来比较实际的底部
这些模型的生产线成本。
比只查看输入和输出代币的价格更好。
考虑到这一点，您会发现从成本角度来看，Claude 4.1 作品非常糟糕。
那是因为它做了很多这样的思考，呃，你可以看到它是输入输出和推理
成本 这里显示的是 1,754 美元，显然推理成本是 1,754 美元。
它非常昂贵。
羊乳干酪相当昂贵。
双子座二五Pro确实做了很多思考。
这也是我的经历。
嗯，然后令人惊讶的是，与事实相比，GPT 5 远远落后于这个列表
对我来说，它在智力排行榜上名列前茅。
嗯，从这个角度来看，四五十四行诗在这里也表现得非常好。
呃，然后等等。
米斯特拉尔的裁判官呃，深度探索。
呃，所以这是，嗯，这是，这是一个非常有趣的列表，但是下一个，下一个图表是
一切都汇集于此。
好的。
这就是图表。
这就是一切。
你应该现在就提出来看看它现在是什么情况。
这是一张图表，将情报绘制在 y 轴上的高度和成本上
在 x 轴上。
因此，这个象限中的模型是智能且昂贵的。
这些虽然不聪明，但仍然很昂贵。
这些是便宜但不聪明的。
这个象限以绿色突出显示。
这些型号价格便宜但很智能。
哪一个都很棒。
呃，这就是大多数人的最佳选择。
嗯，而且，你知道，肯定有一个思想流派会说，如果你确定
任何像这里这样的模型，恰好是，呃，GPT oss，那是相当遥远的事情
在这里。
然后你会说你可以想象这样那样画一个盒子。
任何出现在右侧和下方的东西都代表着，呃，更昂贵的东西
而且不那么聪明。
所以有一种观点认为你永远不应该选择右下角的模型
此图表上的任何其他模型。
事实上，甚至 GPT 也被排除在外，因为 grok 4 的 fast 略高于并且相当多
向左转。
它更便宜、更智能。
所以你可以争论，看看那个。
在此线以上的任何模型，您应该始终选择 grok 4 fast。
现在当然有一个小问题，那就是它过于简单化了，因为
人工智能分析指数不一定与您的任务直接相关。
这是所有这些任务的混合体。
因为还有其他因素，例如延迟和其他原因，您可能会倾向于
转向不同的模型。
但作为一个快速的经验法则，这并不是一个坏规则，说，嘿，永远不要选择一个模型，那就是
这张令人惊叹的图表上任何内容的下方和右侧。
呃，所以选择这个象限中的东西，比如 Deep Sea 3.2 和 grok Full Fast 和 GPT OS。
这些将是廉价且智能的模型。
让我们看看这里昂贵的强大的集群。
所以你可以看到，一开始 Claude 4.1 作品非常昂贵，而且甚至不如 Claude 那么聪明
4.5 十四行诗。
因此，除了非常具体的基准之外，很难想象为什么有人会使用 Claude 4.1 opus
如今，4 或 5 首十四行诗更好、更便宜。
环顾四周，您可以看到 GPT 5 和 grok 4 是如何排列的，GPT 5 看起来确实如此
更便宜、更智能，至少在这个总体基准上是如此。
是的，你可以看到，当开源模型就在这里时，真的，呃，
嗯，它非常昂贵，因为它太大了，但它也非常聪明。
因此，环顾这里的集群，享受真正了解不同产品的功率与成本的乐趣
模型。
你会看到一些与我不同的东西。
因此，您将能够得出新的结论，并通过各种方式发布它们，与其他人分享
学生在 Udemy 或 LinkedIn 上或分享此图表。
这是一个令人着迷的图表。
应该让更多人知道。
好的，再向您展示一下人工分析的速度和延迟部分。
这向您展示了模型运行的速度。
他们每秒会向您喷出多少个输出令牌，其中 OSS 120 位于首位。
当我们玩四连棋时，我们亲眼目睹了它的火热。
我之前提到的延迟是一个不同的指标。
这是您获得第一个令牌所需的时间，但不包括思考令牌。
他们不算数。
直到你得到第一个答案令牌才算数，你会发现 Lama4 Maverick 确实做得很好
出色地。
Kimmy K-2 是来自中国初创公司 Moonshot 的模型，GPT 5 是来自阿里云的模型，Quinn 3 是来自阿里云的模型。
它们在速度、端到端响应时间、响应所需的总时间方面都表现出色。
骆驼四在那里也处于好位置。
然后这个漂亮的小图表显示了输出速度和总价格比较的智能
每百万代币的输入和输出价格，不再将其与其分析指数挂钩。
还有另一个规模。
这次是情报与价格的比较，以对数尺度每百万代币的价格。
另一个有用的，但我更喜欢之前的那个。
呃，然后还有一堆其他特定的表格。
OS 120 上有一些东西。
这里有很多东西值得一看。
你应该迷失在人工分析中——我在这里花十分钟你就会知道如何选择
可能适合您的任务的良好模型子集。
这是该去的地方。
这个网站是黄金网站。