好吧，这即将成为现实。
大家好，欢迎来到第三周。
第三天。
这就是我们深入挖掘的地方。
您已经可以自信地使用前沿模型进行编码、构建人工智能助手并使用管道
在拥抱的脸上。
记住它们，创建一个管道，然后使用不同的输入随意调用它。
但现在我们将实际运行创建管道时无论如何都会运行的代码。
但我们要自己去做，我们要先看看这些叫做
分词器。
分词器是在模型的文本和数字之间进行转换的东西。
它们是数学上的东西。
他们处理的是数字，而不是文字。
了解特殊标记和聊天模板的工作方式是一件大事。
所以要介绍分词器。
因此，标记器是一些在自然语言和数字之间映射的代码，代表
自然语言，这就是它的工作。
需要明确的是，这项工作实际上有两个步骤。
这会引起一些混乱。
这里有一个术语错误，很多人都会犯错，包括我自己，
但事实并非如此。
这并不重要。
但有时人们会宽松地使用这些术语。
但严格来说，你从自然语言开始。
组成句子的是单词和字母。
这就是你的起点。
分词器首先将其转换为一堆称为标记的东西，这些小块是
字？
非常像我们在第一周在用户界面中执行此操作时，我们看到了大块的颜色。
其中每一个都是一个令牌。
令牌是一组字母，它们构成单词的一部分，也可以是整个单词，
有时它可以是两个词，但那是一个令牌。
然后分词器将其转换为数字。
每个令牌、每个可能的令牌都有一个与之关联的不同数字。
所以我想我们看到的这个词的数字是 300，我已经忘记了，GPT。
呃，所以，所以呃，每个，每个可能的标记都映射到一个数字，有时称为
令牌 ID，就像它在所有可能令牌列表中的索引一样。
严格来说，有令牌和令牌 ID 这两个不同的术语。
令牌是单词的片段。
令牌 ID 是代表该令牌的数字。
人们经常说令牌时指的是令牌 ID，但这并不重要。
但严格来说，令牌是块，ID 是数字。
所以分词器有一个字典。
我的意思是，这都是 Python 意义上的。
但也就像正常意义上的一样，它就像一个查找工具，其中包含所有可能的列表
它知道的令牌，以及与它将用于查找的每个令牌关联的 ID
一个块并用它的 ID 替换它。
那本字典包含了那个词汇，所有可能破坏事物的东西
深入到所有可能的标记。
它还包含一些不映射到任何自然语言单词的特殊标记，特殊标记
将用于向模型传达某些信息。
特殊令牌示例。
有一个代表。
这是提示的开始。
这就是我想告诉你的事情的开始。
那是一个特殊的令牌。
所以这是有自己编号的东西。
比如说，它是数字 10。
然后，数字 10 将在我们想要表示的任何时候传递给 LM 的数字中使用。
这是提示的开始。
我们要在那里输入数字 10。
它就是这样知道的。
这是提示的开始。
让我说得非常清楚，以防万一你在这一点上有任何困惑，当我说
LM 会知道 10 是提示符或其他内容的开始，我并不是说有
我们在神经网络中对其进行配置，以便数字 10 意味着开始
提示，或者变压器架构中存在任何固有的期待特殊的东西
代币。
我要告诉你的是，我们为此目的保留了数字“10”。
而在所有的训​​练数据中，海量的训练数据。
我们在每个提示符的开头重复使用数字 10，因为我们总是这样做，
随着时间的推移，神经网络从所有的例子中了解到，这表明
接下来就是开始。
当它看到类似的结构时，它在预测下一个标记方面变得越来越好。
所以这就像老式的模型一样，根据一些数据来预测某人的信用评级
因素。
你给它信息，并通过给它足够的例子，随着时间的推移，它学会如何称重
通过这些不同的因素来预测某人的信用评级。
嗯，显然这是同一件事，但是要大很多很多个数量级。
并给出足够多的例子，数字十总是开始一个新的提示，它已经看到了这些模式
它复制了这些模式。
因此，以带有该令牌 ID 的数字 10 开始提示，呃，可以正确定向统计数据
以便它更好地预测模式。
这就是重点。
我希望这对您有意义，因为它非常重要。
我们会回过头来讨论几次，但是特殊令牌的想法，它们之所以有用，是因为
我们在所有训练数据中都是这样做的。
这就是他们现在的重点，不同的 Llm 不需要使用相同的方法进行标记化，因为
将文本转换为令牌 ID。
事实上，他们通常不这样做。
通常，当某人构建模型时，他们会构建他们认为可以实现模型的分词器
最有意义的是，它对待单词，以它们喜欢的方式将它们变成ID，并使用特殊的
以他们想要的方式进行训练的令牌。
因此，对于您使用的每个模型，您可能都有不同的分词器。
嗯，meta 通过 llama 模型引领了开源 llms 的发展，并且有一个 llama 分词器，Microsoft
是 fi。
我们将看看它的标记器。
深度搜索有一个分词器。
我们将使用它的一个深度搜索，现在是深度搜索 3.2。
但这仍然是一个实验模型。
因此，我们将继续使用 Deep Seek 3.1，然后我们将研究 Quinn 2.5 coda 的 coda tokenizer。
因此，我们稍后将使用这些不同的标记器。
需要记住的重要一点是模型有自己的标记器。
特定模型没有理由需要使用与另一个模型相同的标记器。
这只是他们为了该模型的目的而决定将单词映射到数字的一部分，并为了
仅涵盖人们提出的两个典型问题。
其中之一是，呃，人们会问，好吧，那这重要吗？
一种模型是否更高效，因为它能够在同一个句子中使用更少的标记，因此更便宜？
老实说，不值得担心这样的事情。
这些决定都是非常小的、琐碎的决定，人们为了获得更多的利益而做出的决定
超出了他们的模型。
如果一个标记器生成的标记较少，那么您可能会节省一小部分
您的输入令牌使用情况。
但该模型可能会给出稍差的结果或稍好的结果。
您知道，更重要的因素是结果的质量。
给定您提供的输入，而不是确切地映射到多少个令牌以及它如何工作。
这是一个转移注意力的事情，所以你不想太陷入为什么不同的标记器
产生不同数量的代币。
更重要的是要理解分词器属于一个模型而不被挂断
关于它创建的代币种类。
最后一点对于一些已经听说过向量的人来说是一个困惑。
向量是 llms 的一个重要属性，我们会经常讨论向量。
令牌与向量不同，向量来自于神经网络的更深处
这些令牌被称为嵌入到模型中。
因此，对于那些了解这些向量的人来说，只需记住所有模型，包括
创建向量的模型将标记作为输入。
因为统计模型只能用数字来说话，所以他们不知道这意味着什么
一句话。
所以你必须以数字的形式输入一些东西。
我们选择的数字就是代币 ID。
这就是我们首先将信息输入模型的方式。
结果可能是向量嵌入。
它可能是下一个令牌。
我们可能会从中得到很多不同的东西。
进来的是所有模型的令牌 ID。
因此，标记化就像是我们稍后将介绍的向量之类的东西之前的一个步骤。
因此，以防万一您感到困惑，请澄清一下。
接下来我们将再次访问 Google Colab。
这次我不会拿到光标并说它是在本周第三天第三天，因为你知道
现在你知道该去哪里了。
你知道如何提出来。
你不会问我的。
所以我们直接去Colab。
请记住，我们正在研究与拥抱脸部互动的更深入、更坚韧的方式。
它的真正威力在于使用模型，这是我们明天要做的。
我们今天所做的就像一部前传。
Tokenizers 为我们明天的工作奠定了基础。
但现在让我们开始使用一些标记器。