GPT是Generative pre-trained Transformer的缩写, 它反映了模型的本质和训练过程
生成性表示其生成文本的能力
Pre-trained表示在对特定任务进行微调之前已经对大量文本数据进行了训练,
而Transformer表示用于训练模型的底层架构
创建聊天GPT是一个庞大的 多方面的过程, 需要大量的数据收集和大量的训练,
我们将进入, 这是训练大型语言模型（如GPT 3和GPT
4）的关键一步
首先, 数据经过预处理, 包括在Transformer架构上进行基础模型训练之前的标记化,
该架构擅长处理语言模型任务的顺序数据
岗位培训
该模型使用监督学习对特定任务进行微调, 评估性能, 部署用户可访问性,
然后持续监控和更新, 以确保其准确性, 安全性和相关性
如果所有这些听起来有点混乱, 不要担心, 因为这里是这个过程的高级概述
首先, 我们来谈谈数据收集的过程
这是通过从各种来源（如书籍, 文章, 网站和已编译的大量数据集）中抓取和聚合文本来完成的
GPT 3是在多个数据集上训练的, 包括Common Crawler数据集, 它基本上是在整个互联网上收集的基于Web的数据的汇编
这个常见的爬虫数据集包含PB的数据, 1 PB相当于100万GB的数据,
这是在12年的网络爬行中收集的
因此, 这些信息集合包含原始网页数据 元数据和文本提取
如果你说什么是网络爬虫？
网络爬虫是一种计算机程序, 用于搜索和自动索引网站内容和互联网上的其他信息
这些程序和机器人最常用于为搜索引擎索引创建条目
因此, 网络爬虫本质上是在互联网上获取大量无组织的数据, 并对其进行索引,
扫描, 并将其整理成有组织的信息, 这些信息被分类并更容易导航
最重要的是, GPT也有可能接受了由第三方提供商收集和组织的一些专有和许可数据集的培训
这些数据对于训练像GPT 3和GPT 4这样的LMS至关重要
例如, GPT 3有45TB的文本数据, 这些数据是从各种来源收集的,
其中1TB的数据相当于8300万页的文本, 而用于训练GPT 4的数据量甚至更高
然后, 所有这些内容都经过预处理, 只有大约570GB的高质量和可用数据
为什么还要经历这个过程呢？
数据是任何机器学习模型的基础
它提供了模型学习模式 做出预测和决策的原材料
因此, 一个多样化的大型数据集对于训练强大而有能力的模型至关重要
下一个阶段是数据预处理, 这是为了清理和组织收集的所有数据,
确保一致性, 并删除任何不相关或重要的敏感信息
其中一个元素称为标记化, 它涉及将文本分解为称为标记的较小片段
这个过程有助于将原始文本转换为模型可以使用的格式, 以优化的方式进行训练
为什么这很重要？
它会删除所有敏感信息
模型遵守隐私标准, 并有助于减少数据中的整体噪音, 这将影响模型的性能
这就像在厨房里一样
你想, 比如说烤一个比萨饼, 你的台面上有数百种配料
现在, 如果你知道你只需要八种配料就能真正有效地烤出你想要烤的披萨,
在这种情况下, 你会去除多余的噪音, 多余的材料, 以及你不需要的额外内容
所以预处理的过程是类似的
然后我们继续进行基础模型训练
这个过程涉及到使用一种无监督学习形式（称为语言建模）在收集和预处理的数据上训练基于Transformer的模型,
如GPT 3和GPT 4
这涉及到调整模型参数, 以最小化预测输出和实际下一个单词（也称为token）之间的差异
在这种情况下, 这是一个特定序列的输出
别担心, 我们会有一整堂关于ChatGPT的课, 它的预测能力是在写给定的输出时选择下一个单词
我们还将了解到底什么是Transformer架构
但为什么这很重要？
好吧, 这个基础模型训练的真正目的是获取训练过的数据, 并通过调整模型参数来最大限度地减少预测误差,
从而提供非常重要的高质量输出
这导致了微调阶段
现在在这个阶段, 我们有一个性能良好的工具, 但它缺乏人类微妙和特征的细微差别
但是, 为了获得一个可以供公众使用的产品, 一个更小 更具体的数据集和监督学习有助于引导模型实现所需的行为,
例如编写更好的格式, 以更容易理解的方式呈现详细信息, 更好的词语选择准确性, 甚至拨打其参数, 以获得更安全 更可控的响应
具体来说, 监督学习类似于老师给学生的作业打分
学生输出一篇书面论文, 然后教师根据模型的正确性和正确性给出一个值
这个过程一次又一次地发生, 以继续改进模型的输出
这一切都非常重要, 因为微调调整了基础模型, 使其在特定任务中表现良好,
并使其符合某些安全和道德准则
这导致了我们模型的评估和迭代
来自人类评估者的各种度量和反馈用于评估模型的性能
然后, 进一步评估和重申模型, 评估测量模型的性能, 并通过人工评估人员识别需要改进的领域,
并确保模型符合所需的标准
在实际应用中, 这个阶段会一直持续下去, 直到模型可以安全地供公众使用
最后, 该模型已准备好进行部署和更新, 因此这是收集和分析来自用户和监控系统的反馈的地方,
以识别任何问题, 并允许在必要时更新和重新训练模型
因此, 这种类型的监控有助于识别和解决任何因偏见或任何意外行为而出现的问题
所以每一个步骤都有无数的复杂性, 我们可以花上几周的时间来学习
但这确实是一个高层次的观点, 它需要创造像GPT这样的东西
这种理解水平真的会让你在接下来的课程中取得成功