好的，现在是时候评估谁做得最好了，还有什么更好的方法来评估谁做得最好？
使用 LM 来完成此任务。
必须阅读所有这些内容并做出决定，这将是乏味的。
首先，让我们了解一下我们现在所处的位置。
所以我们有两个清单。
一种称为竞争对手，一种称为答案。
我喜欢光标的方式。
所以我们可以将它们打印出来，我们会看到我们已经得到了这两个列表。
他们就在那里。
这些是我们的竞争对手。
我希望你能认出他们。
这些就是他们的答案。
所以现在要做的一件事很好，如果能够将它们配对起来会更好
并说出哪个是哪个。
有一个非常有用的 Python 函数，名为 zip，值得了解。
它就像一个专业的东西使用，你可以像这样一起迭代这两个集合
我可以说看看哈哈，我在这里做什么？
我只是按 Tab 键。
您可以为竞争对手说出并回答。
这是我们希望通过竞争对手和答案进行迭代的两个问题。
如果您说 zip 竞争对手的答案，那么它只会一起迭代这两个列表。
竞争对手和答案将各有其一。
并且它已经写好了所有的代码。
对我来说，这正是我想做的。
因此，如果我现在这样做，您会看到它正在依次打印每个竞争对手及其答案。
很不错。
好的，但是让我们将它们组合成一个字符串，称为 Together。
我还想在这里展示另一个称为枚举的结构。
如果您有一个类似答案的列表，一个事物列表，并且您想要迭代它们，但您也
想要像你一样跟踪索引号，你可能喜欢不了解枚举的人
通常有一种计数等于零。
在循环中计数加等于一。
不需要。
枚举是一个很好的小技巧，你可以用索引、逗号、枚举答案中的答案来表示，然后
您只需迈出一步即可。
所以我们会说竞争对手的回应。
我们将在索引中添加一个，以便第一个是第一名竞争对手，而不是
零号竞争对手，这听起来不太好。
所以我们运行它，然后呃，我为什么不直接向你展示它是什么样子呢？
但我确信你相信我。
看起来像这样。
如果我打印它，我们会发现它看起来比那更令人愉快。
干得好。
这样你就可以看到响应。
哦，看看那个。
有一个错误。
也罢。
我确实打印了，不是吗？
这就是打印这些东西的好处。
你这样做，然后你就会看到，呃，看看发生了什么。
哇。
好的。
我希望你能抓住这一点。
那就尴尬了。
但我想我会保留它。
所以你会发现，呃，人们不仅会犯错误，而且这为你提供了一种很好的方法
检查正在发生的事情并看看发生了什么。
因此，当我现在打印该内容时，我们会看到竞争对手一的回应。
大概在下面它会得到第二个竞争对手的回应。
好的。
现在我们将有一段新的文本。
你正在评判这么多竞争对手之间的竞争。
每个模型都被提出了这个问题。
您的工作是评估每个回复。
还有就是。
我们说我们希望您以 JSON 格式且仅以 JSON 格式进行响应，并遵循此格式的 JSON 以及结果和
然后是竞争对手编号、第二最佳竞争对手编号、第三最佳竞争对手编号，依此类推。
这是竞争对手的结果。
现在用 JSON 响应竞争对手的排名顺序。
没有别的了。
请勿包含数字格式或代码块。
关于这一点，有几点需要指出。
首先，你可能对三重引号不熟悉。
如果在 Python 字符串中使用三引号，则无需使用三引号即可获得整个文本块
很多引号和优点之类的东西。
所以对于文本块来说这是一个很好的技巧。
当然，它也用于 for for 文档字符串，所以我相信您以前已经遇到过它。
另一件需要知道的事情是，我假设您以前熟悉 f 字符串，但有一个很好的
要知道的技巧是，如果您确实想在字符串中包含大括号，那么您可以这样做
通过在 F 字符串中包含两个花括号来实现。
这就是为什么这里有两个大括号，因为我们实际上希望一个大括号出现在
字符串本身。
我们不是。
我们不希望我们不希望它被解释为代码。
好的。
因此，如果我打印这个来告诉你我到底在喋喋不休，你应该做什么
看看您正在评判六名参赛者之间的比赛。
每个模型都被提出了这个问题。
你的工作是评估。
以下是如何向我们提供结果。
以下是每个人的回应。
你在那里看到了，我还要提到你在最后看到的，我说不包括
Markdown 格式或代码块。
这样做总是值得的。
否则，这些模型喜欢在事物周围添加一些额外的 JSON 标签。
因此，如果您使用此文本，那么您将确保获得纯 JSON。
好的，现在我们已经完成了所有设置，我们将把它放入消息中。
然后我们将调用 LM 并获取结果。
让我们这样做吧。
好的。
审判时间到了。
因此，我们将像往常一样将这个判断文本放入具有正常结构的消息列表中。
现在让我们选择一位法官。
因此，我认为 O3 mini 比其他一些产品贵一点。
所以他们应该检查牛皮纸排行榜。
您可能只想选择便宜的。
就像使用 GPT 4 或 mini 一样。
我会选择 O3 mini，因为我们会尝试做一些真正引人注目的东西
对此。
现在，我意识到列表中的第一个竞争对手是 GPT 4 mini，所以它有点 - 那
一些相同的 OpenAI 模型正在自我评价。
看看它是否认为来自自己家族的模型是赢家将会很有趣，
我们不会告诉它型号名称，我们只会给它一个排名号码，所以它不会
知道。
那么我们来看看第一名的票价如何。
事实上，一号的答案看起来确实很好。
所以它可能会做得很好。
我们会看到。
但我们让 O3 mini 来决定。
让我们看看它是如何实现的。
关了就走了。
它正在考虑这个问题。
这需要时间。
它正在做一些推理。
这就是答案。
所以它并没有把呃 GPT 4 mini 放在首位。
它把型号放在第三位。
你可能还记得第二号人工智能模型是呃，第三号人类模型，我忘了。
这是深度联盟吗？
我们很快就会知道。
所以我们现在要，呃，加载这个，它已经按照我们想要的那样以完美的 JSON 形式返回。
我们将把它加载到字典中。
我们将提取结果。
所以现在我们要得到这个。
我们将再次使用这种枚举方法来迭代它。
对于每一个，我们都会查看这个字符串，然后减去一，然后在竞争对手列表中查找
并打印结果。
所以如果你关注我的话，这只会从最好到最差打印出模型的名称
在我们的结果中。
请打鼓。
开始了。
所以这是双子座二零闪。
那是我们的赢家。
GPT 4 mini 排名第二。
Llama 3.3 位居第三，然后是 Deep Seek，然后是 Claude 3.7。
但排名垫底的是“flailing llama 3.2”。
就这样半途而废了。
所以出现了我们判断的不科学的结果。
当然，如果你能够以更科学的方式尝试这一点，将会非常有趣。
例如，您可以让每个不同的竞争对手给出排名，然后使用
取平均值。
这种评估方式比简单地使用更有趣
无论《哦三迷你》告诉我们什么。
所以无论如何，这是一个非常有趣的实验，旨在向您展示如何在
学习管理系统。
所以希望你在这堂课和上一堂课中都集中注意力，并且你已经能够识别出
本示例中使用了哪些代理工作流程模式。
图案还是图案？
可能有一对。
如果您不确定，请回顾一下并思考并回顾图表。
它可能是其中几个与适合您的练习之间的某种混合体或大杂烩。
首先，这样做。
其次，请选择您感兴趣的模式之一并将其添加到此组合中。
该实验室的目标是双重的。
首先，尝试不同的 API，亲眼看看 OpenAI API 是如何使用的
经常跨越许多模型，除了人择模型，并且还尝试使用
基本 API 结构和提示。
第二个目标是试验模型之间的这种编排，提出问题，
多个模型回答，让另一个模型来评估输出所有这些都是关于交互的
在模型之间，将一个更大的问题划分为更小的问题，并且在模型中具有一点自主权
提出第一个模型想要提出的任何问题。
所以，呃，是的，添加另一种代理设计模式。
我很想看看。
一旦你做到了这一点，就可以考虑做一个 PR 并将其放入社区贡献中。
资源中会有关于如何执行此操作的说明。
一个很好的提示是，请注意在执行此操作之前删除笔记本的输出。
所以里面没有太多垃圾。
并确保您只将内容推送到社区贡献文件夹中。
会有指示的。
看到你正在做的事情，并看到一些有趣的设计模式添加到其中，真是太棒了
这种练习。
该实验室的最终想法是商业影响。
我确实想始终把它带回到你如何能够，如何在商业环境中思考这个问题。
老实说，我很难在这里具体说明，因为这是普遍适用的。
事实上，任何时候你想要生成一些东西，你都希望 LM 能够
照顾这些类型的模式。
能够向多个 LMS 发送相同的请求，然后能够评估响应，或者
选择最好的或者可能选择几个最好的，或者用它来提供反馈。
所有这些类型的模式都用于提高模型的鲁棒性和准确性，并
能够解决越来越难的问题。
正如我所说，这确实是普遍适用的。
所以你应该能够选择你能想到的应用人工智能的任何商业问题，
无论是总结型问题还是生成型问题，写一封电子邮件，构建一个
文档，编写业务需求文档。
您可以考虑如何应用这些技术。
将请求发送到多个模型。
投票选出最佳结果。
您应该能够立即将其应用到您的项目中。