从语言模型到大型语言模型

虽然语言模型已经存在了一段时间，但它们只有在自监督的帮助下才能发展到今天的规模。本节对语言模型和自监督的含义进行了快速概述。如果您已经熟悉这些内容，可以跳过本节。

语言模型

一个语言模型编码了关于一种或多种语言的统计信息。直观地说，这些信息告诉我们一个词在特定上下文中出现的可能性有多大。

例如，在上下文“我最喜欢的颜色是__”中，编码英语的语言模型应该比“汽车”更频繁地预测“蓝色”。

语言的统计特性在几个世纪前就被发现。在 1905 年的故事“跳舞的人冒险记”中，福尔摩斯利用简单的英语统计信息解码神秘的火柴人序列。由于英语中最常见的字母是E，福尔摩斯推断出最常见的火柴人一定代表E。

后来，克劳德·香农在第二次世界大战期间使用更复杂的统计方法来解密敌方的信息。他关于如何建模英语的研究发表于他 1951 年的标志性论文“印刷英语的预测与熵”。这篇论文中引入的许多概念，包括熵，至今仍被用于语言建模。

在早期，语言模型涉及一种语言。然而，今天，语言模型可以涉及多种语言。

语言模型的基本单位是token。一个 token 可以是一个字符、一个单词或一个单词的一部分（如-tion），这取决于模型。² 例如，GPT-4 是 ChatGPT 背后的模型，它将短语“I can’t wait to build AI applications”分解为九个 tokens，如图 1-1所示。请注意，在这个例子中，单词“can’t”被分解为两个 tokens，can和’t。您可以在OpenAI 网站上查看不同 OpenAI 模型如何对文本进行分词。

图 1-1. GPT-4 如何将一个短语进行分词的示例。

将原始文本拆分为标记的过程称为标记化。对于 GPT-4，平均一个标记大约是¾个单词的长度。因此，100 个标记大约是 75 个单词。

模型可以使用的所有符号的集合称为模型的 词汇量。您可以使用少量的符号构造出大量不同的单词，这类似于您可以使用字母表中的几个字母构造许多单词。Mixtral 8x7B 模型的词汇量为 32,000。GPT-4 的词汇量为 100,256。符号化方法和词汇量由模型开发者决定。

注意

为什么语言模型使用token作为单位，而不是word或character？主要有三个原因：

1. 
   与字符相比，标记允许模型将单词拆分为有意义的组成部分。例如，“cooking”可以拆分为“cook”和“ing”，这两个组成部分都承载了原单词的一些含义。

2. 
   因为独特标记的数量少于独特单词的数量，这减少了模型的词汇量，使模型更高效（如在第 2 章中讨论的）。

3. 
   标记还帮助模型处理未知单词。例如，一个虚构的单词“chatgpting”可以被拆分为“chatgpt”和“ing”，帮助模型理解其结构。
   
   令牌余额单位少于单词，同时保留的含义多于单个字符。

主要有两种语言模型：掩蔽语言模型和自回归语言模型。它们在预测一个标记时所能使用的信息上有所不同：

掩码语言模型

一个掩码语言模型被训练来预测序列中任何位置缺失的标记，利用缺失标记前后的上下文。本质上，掩码语言模型被训练能够填补空白。例如，给定上下文“My favorite __ is blue”，掩码语言模型应该预测空白很可能是“color”。

一个著名的掩码语言模型示例是来自变压器的双向编码器表示，简称 BERT (Devlin et al., 2018)。

截至撰写时，掩码语言模型通常用于非生成任务，如情感分析和文本分类。

它们在需要理解整体上下文的任务中也很有用，例如代码调试，在这些任务中，模型需要理解前面的和后面的代码以识别错误。

自回归语言模型

自回归语言模型的训练旨在预测序列中的下一个标记，仅使用前面的标记。它预测在“My favorite color is __.”³之后会出现什么。自回归模型可以不断地一个接一个地生成标记。如今，自回归语言模型是文本生成的首选模型，因此它们比掩码语言模型更受欢迎。⁴

图 1-2 显示了这两种类型的语言模型。

图 1-2.自回归语言模型和掩蔽语言模型。

注意

在本书中，除非另有明确说明，language model 将指代自回归模型。

语言模型的输出是开放式的。语言模型可以利用其固定的、有穷的词汇构造无限可能的输出。能够生成开放式输出的模型被称为生成模型，因此有了生成式人工智能这个术语。

您可以将语言模型视为一个完成机器：给定一段文本（提示），它会尝试完成该文本。以下是一个示例：

Prompt (from user): "To be or not to be"
Completion (from language model): ", that is the question."
            

需要注意的是，完成是基于概率的预测，并不保证正确。这种语言模型的概率特性使得它们在使用时既令人兴奋又令人沮丧。我们在第二章中进一步探讨这一点。

听起来很简单，但完成任务是非常强大的。许多任务，包括翻译、总结、编码和解决数学问题，都可以被视为完成任务。

例如，给定提示：“法语中的‘你好吗’是……”，一个语言模型可能能够完成它为：“Comment ça va”，有效地从一种语言翻译到另一种语言。

作为另一个例子，给定提示：

Question: Is this email likely spam? Here’s the email: <email content>
Answer: 
            

语言模型可能能够将其补充为：“可能是垃圾邮件”，这使得该语言模型变成一个垃圾邮件分类器。

虽然完成能力很强，但完成并不等同于进行对话。例如，如果你问一个完成机器一个问题，它可能会通过添加另一个问题来完成你所说的内容，而不是回答这个问题。“后训练”讨论了如何使模型适当地响应用户的请求。

从大型语言模型到基础模型

虽然语言模型能够完成令人难以置信的任务，但它们仅限于文本。作为人类，我们不仅通过语言来感知世界，还通过视觉、听觉、触觉等。能够处理超越文本的数据对于人工智能在现实世界中运作至关重要。

因此，语言模型正在扩展以纳入更多的数据模态。GPT-4V 和 Claude 3 可以理解图像和文本。一些模型甚至可以理解视频、3D 资产、蛋白质结构等。

将更多的数据模态融入语言模型使其更具强大能力。OpenAI 在他们的 GPT-4V 系统卡中指出：“将额外的模态（例如图像输入）纳入LLMs被一些人视为人工智能研究和发展的关键前沿。”

虽然许多人仍称双子座和 GPT-4V 为LLMs，但它们更准确地被描述为基础模型。这个词基础既表示这些模型在 AI 应用中的重要性，也意味着它们可以在不同需求的基础上构建。

基础模型标志着人工智能研究传统结构的突破。长期以来，人工智能研究是按数据模态划分的。自然语言处理（NLP）仅处理文本。计算机视觉仅处理视觉。

仅文本模型可用于翻译和垃圾邮件检测等任务。仅图像模型可用于对象检测和图像分类。仅音频模型可处理语音识别（语音转文本，或 STT）和语音合成（文本转语音，或 TTS）。

可以处理多个数据模态的模型也称为多模态模型。 生成式多模态模型也称为大型多模态模型（LMM）。

如果语言模型仅基于文本生成下一个标记，多模态模型则基于文本和图像标记生成下一个标记，或者生成模型所支持的其他任何模态，如图 1-3所示。

图 1-3.多模态模型可以利用文本和视觉标记的信息生成下一个标记。

就像语言模型一样，多模态模型也需要数据来进行扩展。自我监督同样适用于多模态模型。例如，OpenAI 使用了一种称为自然语言监督的自我监督变体来训练他们的语言-图像模型CLIP (OpenAI, 2021)。他们发现（图像，文本）对在互联网上同时出现，而不是手动为每个图像生成标签。

他们能够生成一个包含 4 亿（图像，文本）对的数据集，这个数据集是 ImageNet 的 400 倍大小，而没有人工标注的成本。这个数据集使 CLIP 成为第一个能够在不需要额外训练的情况下推广到多种图像分类任务的模型。

请注意，CLIP 不是一个生成模型——它并不是为了生成开放式输出而训练的。CLIP 是一个嵌入模型，旨在生成文本和图像的联合嵌入。“嵌入简介”详细讨论了嵌入。目前，你可以将嵌入视为旨在捕捉原始数据含义的向量。像 CLIP 这样的多模态嵌入模型是生成多模态模型的基础，例如 Flamingo、LLaVA 和 Gemini（之前称作 Bard）。

基础模型还标志着从特定任务模型到通用模型的转变。以前，模型通常是为特定任务开发的，例如情感分析或翻译。

用于情感分析的模型无法进行翻译，反之亦然。

基础模型由于其规模和训练方式，能够执行广泛的任务。 开箱即用的通用模型对于许多任务来说相对有效。一个LLM可以同时进行情感分析和翻译。然而，您通常可以调整通用模型，以最大限度地提高其在特定任务上的性能。

图 1-4 显示了 Super-NaturalInstructions 基准用于评估基础模型的任务 (Wang 等, 2022)，提供了基础模型可以执行的任务类型的概念。

想象一下，您正在与一个零售商合作，构建一个应用程序以生成他们网站的产品描述。一个现成的模型可能能够生成准确的描述，但可能无法捕捉到品牌的声音或突出品牌的信息。

生成的描述可能充满了营销语言和陈词滥调。

图 1-4. 超自然指令基准（Wang et al., 2022）中的任务范围。

有多种技术可以让模型生成您想要的内容。例如，您可以编写详细的说明，并附上理想产品描述的示例。这种方法被称为提示工程。您可以将模型连接到客户评价数据库，以便模型利用这些评价生成更好的描述。使用数据库来补充说明被称为检索增强生成（RAG）。您还可以对模型进行微调——在高质量产品描述的数据集上进一步训练模型。

提示工程、RAG 和微调是三种非常常见的 AI 工程技术，你可以用它们来使模型适应你的需求。本书的其余部分将详细讨论它们。

将现有的强大模型调整为您的任务通常比从头开始为您的任务构建模型要容易得多——例如，十个例子和一个周末对比一百万个例子和六个月。

基础模型使得开发人工智能应用的成本更低，并缩短了上市时间。适应一个模型所需的数据量具体取决于你使用的技术。本书在讨论每种技术时也会涉及这个问题。

然而，任务特定模型仍然有许多好处，例如，它们可能要小得多，从而使它们更快且更便宜。

是自己构建模型还是利用现有模型是一个经典的自建或购买的问题，团队需要自己回答。书中的讨论可以帮助做出这个决定。

从基础模型到人工智能工程

人工智能工程是指在基础模型之上构建应用程序的过程。人们已经构建人工智能应用程序超过十年——这个过程通常被称为机器学习工程或 MLOps（机器学习操作的缩写）。那么，为什么我们现在谈论人工智能工程呢？

如果传统的机器学习工程涉及开发机器学习模型，那么人工智能工程则利用现有模型。

强大的基础模型的可用性和可访问性导致了三个因素，这些因素共同创造了理想条件，使 AI 工程作为一个学科得以迅速发展：

因素 1：通用人工智能能力

基础模型之所以强大，不仅因为它们能够更好地完成现有任务。它们之所以强大，还因为它们能够完成更多任务。以前被认为不可能的应用现在变得可能，而以前未曾想到的应用也正在出现。

即使是今天认为不可能的应用，明天也可能成为现实。这使得人工智能在生活的更多方面变得更有用，极大地增加了用户群和对人工智能应用的需求。

例如，由于人工智能现在可以像人类一样写作，有时甚至更好，人工智能可以自动化或部分自动化每一个需要交流的任务，几乎所有的任务都是如此。人工智能被用来写电子邮件、回应客户请求和解释复杂的合同。

任何拥有计算机的人都可以使用工具，这些工具可以即时生成定制的高质量图像和视频，以帮助创建市场营销材料、编辑专业头像、可视化艺术概念、插图书籍等等。

AI 甚至可以用来合成训练数据、开发算法和编写代码，这些都将有助于在未来训练出更强大的模型。

因素 2：增加 AI 投资

ChatGPT 的成功促使了对人工智能的投资急剧增加，既来自风险投资家，也来自企业。随着人工智能应用的构建成本降低和上市速度加快，人工智能的投资回报变得更加吸引人。

公司争相将人工智能融入他们的产品和流程。Scribd 的应用研究高级经理 Matt Ross 告诉我，他的使用案例中估算的人工智能成本从 2022 年 4 月到 2023 年 4 月下降了两个数量级。

高盛研究估计，到 2025 年，美国的人工智能投资可能接近 1000 亿美元，全球可能达到 2000 亿美元。⁹人工智能常被提及为竞争优势。FactSet发现，在 2023 年第二季度，三分之一的标准普尔 500 公司在财报电话会议中提到人工智能，这一比例比去年增加了三倍。图 1-5显示了 2018 年至 2023 年期间，提到人工智能的标准普尔 500 公司数量。

图 1-5。在 2023 年，提到人工智能的标准普尔 500 公司在财报电话会议中的数量达到了历史最高水平。数据来自 FactSet。

根据 WallStreetZen 的报道，在财报电话会议中提到人工智能的公司，其股价上涨幅度超过未提到的公司：平均上涨 4.6%，而未提到的公司仅上涨 2.4%。目前尚不清楚这是否是因果关系（人工智能使这些公司更成功）还是相关性（公司因快速适应新技术而成功）。

因素 3：构建 AI 应用的低准入门槛

OpenAI 和其他模型提供商推广的模型即服务方法使得利用 AI 构建应用程序变得更加容易。在这种方法中，模型通过 API 公开，接收用户查询并返回模型输出。

没有这些 API，使用 AI 模型需要基础设施来托管和提供该模型。这些 API 通过单个 API 调用为您提供对强大模型的访问。

不仅如此，AI 还使得以最少的编码构建应用程序成为可能。首先，AI 可以为您编写代码，使没有软件工程背景的人能够快速将他们的想法转化为代码并展示给用户。

其次，您可以使用简单的英语与这些模型进行交互，而不必使用编程语言。任何人，我是说任何人，现在都可以开发 AI 应用程序。

由于开发基础模型所需的资源，这个过程只能由大型公司（Google、Meta、Microsoft、百度、腾讯）、政府（日本、阿联酋）以及雄心勃勃、资金充足的初创企业（OpenAI、Anthropic、Mistral）来实现。在 2022 年 9 月的一次采访中，OpenAI 的首席执行官 Sam Altman表示，对于绝大多数人来说，最大的机会将是将这些模型适配到特定应用中。

世界迅速抓住这个机会。人工智能工程迅速成为了发展最快的工程学科之一，甚至可能是增长速度最快的学科。人工智能工程的工具的普及速度超过了任何以前的软件工程工具。

在短短两年内，四个开源 AI 工程工具（AutoGPT、Stable Diffusion eb UI、LangChain、Ollama）在 GitHub 上的星标数量已经超过了比特币。

它们有望在星标数量上超过甚至最流行的网页开发框架，包括 React 和 Vue。图 1-6 显示了 AI 工具与比特币、Vue 和 React 的 GitHub 星标增长情况。

2023 年 8 月的一项 LinkedIn 调查显示，添加诸如“生成式 AI”、“ChatGPT”、“提示工程”和“提示制作”等术语的专业人士数量每月平均增加75%。ComputerWorld宣称“教 AI 如何表现是增长最快的职业技能”。

图 1-6。根据它们的 GitHub 星标数量，开源 AI 工程工具的增长速度超过了其他任何软件工程工具。

快速增长的人工智能工程师社区展现出了非凡的创意，并具有令人兴奋的各种应用。接下来的部分将探讨一些最常见的应用模式。

编码

在多项生成性人工智能调查中，编码无疑是最受欢迎的用例。人工智能编码工具之所以受欢迎，既因为人工智能擅长编码，也因为早期的人工智能工程师是更熟悉编码挑战的程序员。

基础模型在生产中的早期成功之一是代码补全工具 GitHub Copilot，其年度经常性收入在上市仅两年后突破了 1 亿美元。截至本文撰写时，人工智能驱动的编程初创公司已筹集了数亿美金，Magic 筹集了 3.2 亿美元，Anysphere 筹集了 6000 万美元，两者均在 2024 年 8 月。开源编码工具如gpt-engineer和screenshot-to-code在一年内均获得了 5 万个 GitHub 星标，还有许多其他工具正在迅速推出。

除了帮助进行一般编码的工具外，许多工具专门针对特定编码任务。以下是这些任务的示例：

• 
  从网页和 PDF 中提取结构化数据（AgentGPT）

• 
  将英语转换为代码 (DB-GPT, SQL Chat, PandasAI)

• 
  根据设计或截图生成代码，以便将其呈现为一个与给定图像（截图到代码，draw-a-ui）相似的网站

• 
  从一种编程语言或框架翻译到另一种（GPT-Migrate, AI Code Translator）

• 
  编写文档 (Autodoc)

• 
  创建测试 (PentestGPT)

• 
  生成提交消息 (AI Commits)

显然，人工智能可以完成很多软件工程任务。问题是人工智能是否能完全自动化软件工程。在一个极端的观点中，英伟达首席执行官詹森·黄预测人工智能将取代人类软件工程师，我们应该停止说孩子们应该学习编程。在一段泄露的录音中，AWS 首席执行官马特·加曼分享了在不久的将来，大多数开发者将停止编程。他并不是说这意味着软件开发者的终结；只是他们的工作将会发生变化。

另一端有许多软件工程师，他们坚信自己永远不会被人工智能取代，既出于技术原因，也出于情感原因（人们不喜欢承认自己可以被取代）。

软件工程由许多任务组成。人工智能在某些任务上表现更好。麦肯锡的研究人员发现，人工智能可以帮助开发人员在文档编写方面提高两倍的生产力，而在代码生成和代码重构方面提高 25%至 50%的生产力。对于高度复杂的任务，几乎没有观察到生产力的改善，如图 1-9所示。在与 AI 编码工具开发者的对话中，许多人告诉我，他们注意到人工智能在前端开发方面的表现要远好于后端开发。

图 1-9。人工智能可以帮助开发者显著提高生产力，特别是在简单任务上，但对于高度复杂的任务，这种效果较小。数据来源于麦肯锡。

无论人工智能是否会取代软件工程师，人工智能肯定可以提高他们的生产力。这意味着公司现在可以用更少的工程师完成更多的工作。

人工智能也可能会扰乱外包行业，因为外包的任务往往是公司核心业务之外的简单任务。

图像和视频制作

由于其概率特性，人工智能在创意任务中表现出色。一些最成功的人工智能初创公司都是创意应用，例如用于图像生成的 Midjourney、用于照片编辑的 Adobe Firefly，以及用于视频生成的 Runway、Pika Labs 和 Sora。

在 2023 年底，一岁半的Midjourney已经产生了 2 亿美元的年度经常性收入。截至 2023 年 12 月，在苹果 App Store 中排名前 10 的免费图形与设计应用中，有一半的名称中包含 AI。

我怀疑不久的将来，图形和设计应用程序将默认集成 AI，因此它们的名称中不再需要包含“AI”这个词。第 2 章更详细地讨论了 AI 的概率性质。

现在在社交媒体上使用人工智能生成个人资料照片已变得很普遍，从 LinkedIn 到 TikTok。许多求职者认为，AI 生成的头像可以帮助他们展现最佳形象，并 增加他们获得工作的机会。对 AI 生成的个人资料图片的看法发生了显著变化。在 2019 年，Facebook因安全原因禁止使用 AI 生成的个人资料照片的账户。在 2023 年，许多社交媒体应用提供工具，允许用户使用 AI 生成个人资料照片。

对于企业来说，广告和营销迅速开始融入人工智能。¹² 人工智能可以直接生成宣传图片和视频。它可以帮助头脑风暴创意或生成供人类专家进行迭代的初稿。您可以使用人工智能生成多个广告并测试哪个最适合受众。

AI 可以根据季节和地点生成广告的不同变体。例如，您可以使用 AI 在秋季改变叶子的颜色或在冬季向地面添加雪。

写作

人工智能早已被用来辅助写作。如果你使用智能手机，你可能对自动更正和自动补全这两项由人工智能驱动的功能很熟悉。写作是人工智能的一个理想应用，因为我们经常进行写作，这可能是相当繁琐的，并且我们对错误的容忍度较高。

如果一个模型建议了一些你不喜欢的东西，你可以选择忽略它。

对于LLMs擅长写作并不令人惊讶，因为他们接受了文本补全的训练。为了研究 ChatGPT 对写作的影响，麻省理工学院的一项研究（Noy 和 Zhang，2023）给 453 名大学受教育的专业人士分配了特定职业的写作任务，并随机让他们的一半接触 ChatGPT。研究结果显示，与接触 ChatGPT 的人员相比，平均花费时间减少了 40%，输出质量提高了 18%。

ChatGPT 有助于缩小工人之间输出质量的差距，这意味着它对那些写作倾向较低的人更加有帮助。

在实验中接触到 ChatGPT 的工人在实验后两周内报告在真实工作中使用它的可能性是其他人的两倍，而在两个月后这一可能性是其他人的 1.6 倍。

对于消费者而言，使用场景显而易见。许多人使用人工智能帮助他们更好地沟通。你可以在电子邮件中表达愤怒，然后请人工智能使其变得愉快。你可以给出要点，然后得到完整的段落。

几个人声称，他们再也不会在没有先让人工智能改进的情况下发送重要电子邮件。

学生们正在使用人工智能写论文。作家们正在使用人工智能写书。¹³ 许多创业公司已经在利用人工智能生成儿童书籍、同人小说、浪漫小说和幻想小说。与传统书籍不同，人工智能生成的书籍可以是互动式的，因为书籍的情节可以根据读者的喜好而变化。

这意味着读者可以积极参与他们正在阅读的故事创作。一个儿童阅读应用识别出孩子在某些单词上有困难，并围绕这些单词生成故事。

笔记和邮件应用程序，如 Google Docs、Notion 和 Gmail，都使用人工智能来帮助用户改善写作。Grammarly 是一款写作助手应用，调整模型使用户的写作更加流畅、一致和清晰。

AI 的写作能力也可能被滥用。2023 年，纽约时报报道说，亚马逊充斥着劣质的 AI 生成旅游指南书，每本书都有作者介绍、网站和好评，全部都是 AI 生成的。

对于企业来说，人工智能写作在销售、市场营销和一般团队沟通中很常见。许多经理告诉我，他们一直在使用人工智能来帮助他们撰写绩效报告。人工智能可以帮助撰写有效的冷邮件、广告文案和产品描述。

客户关系管理（CRM）应用程序，如 HubSpot 和 Salesforce，也为企业用户提供生成网页内容和外展电子邮件的工具。

人工智能在搜索引擎优化（SEO）方面似乎特别擅长，可能是因为许多人工智能模型是使用来自互联网的数据进行训练，而这些数据中充满了经过搜索引擎优化的文本。

人工智能在搜索引擎优化（SEO）方面表现出色，以至于推动了新一代内容农场的出现。这些农场建立垃圾网站，并填充 AI 生成的内容，以使其在 Google 上获得高排名，从而吸引流量。然后，他们通过广告交易平台出售广告位。2023 年 6 月，NewsGuard 在几乎 400 条来自 141 个热门品牌的广告中识别出这些垃圾 AI 生成的网站。其中一个垃圾网站每天生成 1200 篇文章。如果不采取措施加以遏制，互联网内容的未来将是 AI 生成的，而这将相当黯淡。¹⁴

教育

每当 ChatGPT 出现故障时，OpenAI 的 Discord 服务器上就会涌现出大量学生抱怨无法完成作业。包括纽约市公立学校和洛杉矶联合学区在内的多个教育委员会迅速 禁止使用 ChatGPT，担心学生会利用它作弊，但 几个月后又撤回了他们的决定。

学校可以将人工智能纳入教学，而不是禁止它，以帮助学生更快地学习。人工智能可以总结教科书并为每个学生生成个性化的讲座计划。我觉得很奇怪，广告是个性化的，因为我们知道每个人都不同，但教育却不是。

人工智能可以帮助将材料调整为最适合每个学生的格式。听觉学习者可以让人工智能大声朗读材料。喜欢动物的学生可以使用人工智能将可视化调整为 featuring 更多动物。

那些觉得阅读代码比数学方程更容易的人可以请求 AI 将数学方程翻译成代码。

人工智能对语言学习特别有帮助，因为你可以让人工智能角色扮演不同的练习场景。Pajak 和 Bicknell (Duolingo, 2022) 发现，在课程创建的四个阶段中，课程个性化是最能从人工智能中受益的阶段，如图 1-10所示。

图 1-10. 在 Duolingo 的课程创建的四个阶段中，AI 可以被用到每个阶段，但在个性化阶段它最为有用。图像来源于 Pajak 和 Bicknell（Duolingo，2022）。

AI 可以生成测试题，包括选择题和开放性问题，并评估答案。AI 可以成为辩论伙伴，因为它在呈现同一主题的不同观点方面比普通人更出色。例如，Khan Academy为学生提供AI 驱动的教学助手，为教师提供课程助手。我见过一种创新的教学方法，教师让学生找出并纠正 AI 生成的文章中的错误。

虽然许多教育公司利用人工智能来构建更好的产品，但许多公司发现自己的市场份额被人工智能抢走了。例如，Chegg 是一家帮助学生完成作业的公司，其股价从 2022 年 11 月 ChatGPT 推出时的 28 美元暴跌至 2024 年 9 月的 2 美元，因为学生们开始寻求人工智能的帮助。

如果风险在于人工智能可以取代许多技能，机会在于人工智能可以作为辅导者来学习任何技能。对于许多技能，人工智能可以帮助某人快速掌握，然后继续独立学习，以变得比人工智能更优秀。

信息聚合

许多人相信，我们的成功取决于我们过滤和消化有用信息的能力。然而，跟上电子邮件、Slack 消息和新闻有时会让人感到不堪重负。幸运的是，AI 伸出了援手。

AI 已被证明能够聚合信息并进行总结。根据 Salesforce 的 2023 生成性 AI 快照研究，74% 的生成性 AI 用户使用它来提炼复杂的想法和总结信息。

对于消费者来说，许多应用可以处理您的文档——合同、披露、论文——并让您以对话的方式检索信息。这个用例也被称为 talk-to-your-docs。人工智能可以帮助您总结网站、研究，并就您选择的话题创建报告。在写这本书的过程中，我发现人工智能对总结和比较论文非常有帮助。

信息汇聚和提炼对企业运营至关重要。更高效的信息汇聚和传播可以帮助组织变得更加精简，因为它减轻了中层管理的负担。当 Instacart 推出内部提示市场时，它发现最受欢迎的提示模板之一是“快速分析”。

此模板要求 AI 总结会议记录、电子邮件和 Slack 对话，包括事实、开放问题和行动项。这些行动项可以自动插入到项目跟踪工具中，并分配给相应的负责人。

人工智能可以帮助您发现有关潜在客户的关键信息，并对竞争对手进行分析。

收集的信息越多，组织这些信息就越重要。信息聚合与数据组织密切相关。

数据组织

未来有一件事是肯定的，那就是我们将继续产生越来越多的数据。智能手机用户将继续拍照和录像。公司将继续记录关于他们的产品、员工和客户的一切。

每年都有数十亿份合同被创建。照片、视频、日志和 PDF 都是非结构化或半结构化数据。以便于后续搜索的方式组织所有这些数据至关重要。

AI 可以帮助实现这一点。AI 可以自动生成关于图像和视频的文本描述，或者帮助将文本查询与匹配这些查询的视觉内容相匹配。像 Google Photos 这样的服务已经在使用 AI 来呈现与搜索查询匹配的图像。¹⁷ Google 图像搜索更进一步：如果没有现有图像满足用户的需求，它可以生成一些。

AI 在数据分析方面非常出色。它可以编写程序生成数据可视化，识别异常值，并进行预测，如收入预测。¹⁸

企业可以利用人工智能从非结构化数据中提取结构化信息，这可以用于组织数据并帮助搜索。

简单的使用案例包括自动提取信用卡、驾驶执照、收据、票据、电子邮件底部的联系信息等中的信息。更复杂的使用案例包括从合同、报告、图表等中提取数据。

预计到 2030 年，智能数据处理（IDP）行业将达到$128.1 亿美元，每年增长 32.9%。

工作流程自动化

最终，人工智能应该尽可能地自动化。对于最终用户来说，自动化可以帮助处理无聊的日常任务，如预订餐厅、申请退款、计划旅行和填写表格。

对于企业来说，人工智能可以自动化重复性任务，例如潜在客户管理、发票处理、报销、管理客户请求、数据录入等。

一个特别令人兴奋的用例是使用 AI 模型合成数据，这些数据可以用来改进模型本身。您可以使用 AI 为您的数据创建标签，并引入人类来改善这些标签。我们在第 8 章中讨论数据合成。

访问外部工具是完成许多任务所必需的。为了预订餐厅，应用程序可能需要权限打开搜索引擎查找餐厅的电话，使用您的手机拨打电话，并将约会添加到您的日历中。

能够规划和使用工具的人工智能称为代理。围绕代理的兴趣几乎达到了痴迷的程度，但这并非完全没有理由。AI 代理有潜力使每个人的生产力大幅提升，并创造出巨大的经济价值。代理是第 6 章的一个核心主题。

探索不同的人工智能应用真的很有趣。我最喜欢的幻想之一就是我可以构建的不同应用程序。然而，并不是所有的应用程序都应该被构建。

下一部分讨论在构建 AI 应用程序之前我们应该考虑什么。

用例评估

第一个要问的问题是你为什么想要构建这个应用程序。像许多商业决策一样，构建一个 AI 应用程序通常是对风险和机会的回应。以下是不同风险级别的一些例子，按从高到低的顺序排列：

1. 
   如果你不这样做，使用人工智能的竞争对手可能会让你变得无关紧要。 如果人工智能对你的业务构成重大生存威胁，整合人工智能必须是最高优先事项。在 2023 年Gartner 研究中，7%的人将业务连续性作为他们采用人工智能的理由。这在涉及文档处理和信息汇总的业务中更为常见，例如金融分析、保险和数据处理。
   
   这在广告、网页设计和图像制作等创意工作中也很常见。您可以参考 2023 年的 OpenAI 研究“GPTs are GPTs” (Eloundou et al., 2023)，以查看各行业在 AI 曝光度上的排名。

2. 
   如果你不这样做，你将错失提升利润和生产力的机会。 大多数公司接受人工智能，因为它带来了机会。人工智能可以帮助大多数，甚至所有的业务运营。人工智能可以通过制作更有效的文案、产品描述和促销视觉内容，使用户获取变得更加便宜。
   
   人工智能可以通过改善客户支持和定制用户体验来提高用户留存率。人工智能还可以帮助销售线索生成、内部沟通、市场研究和竞争对手跟踪。

3. 
   你还不确定人工智能将在你的业务中发挥什么作用，但你不想被抛在后面。 虽然公司不应追逐每一个热门趋势，但许多公司因等待太久而错失机会（看看柯达、百视达和黑莓）。
   
   将资源投资于了解新型变革性技术如何影响您的业务，如果条件允许，这并不是一个坏主意。在大公司中，这可以是研发部门的一部分。¹⁹

一旦你找到一个好的理由来开发这个用例，你可能会考虑是否必须自己构建它。如果人工智能对你的业务构成生存威胁，你可能想选择内部开发人工智能，而不是将其外包给竞争对手。

然而，如果你使用人工智能来提升利润和生产力，你可能会有很多购买选项，可以节省时间和金钱，同时为你提供更好的性能。

设定期望

一旦你决定自己构建这个惊人的人工智能应用程序，下一步就是弄清楚成功的标准是什么：你将如何衡量成功？最重要的指标是这将如何影响你的业务。

例如，如果它是一个客户支持聊天机器人，业务指标可以包括以下内容：

• 
  您希望聊天机器人自动处理多少百分比的客户消息？

• 
  聊天机器人应该允许您处理多少条消息？

• 
  使用聊天机器人你能多快回应？

• 
  聊天机器人可以为您节省多少人力劳动？

聊天机器人可以回答更多消息，但这并不意味着用户会感到满意，因此跟踪客户满意度和一般客户反馈非常重要。“用户反馈”讨论了如何设计反馈系统。

为了确保产品在准备好之前不会展示给客户，请明确其有用性阈值的期望：它必须足够好才能被认为有用。有用性阈值可能包括以下指标组：

• 
  测量聊天机器人回复质量的质量指标。

• 
  延迟指标包括 TTFT（第一次令牌的时间）、TPOT（每个输出令牌的时间）和总延迟。什么被视为可接受的延迟取决于您的用例。
  
  如果您所有的客户请求目前都是由人工处理，且中位响应时间为一个小时，那么任何比这个更快的响应时间可能都足够了。

• 
  成本指标：每个推理请求的成本是多少。

• 
  其他指标如可解释性和公平性。

如果你还不确定想要使用哪些指标，别担心。本书的其余部分将涵盖许多这些指标。

里程碑计划

一旦设定了可衡量的目标，您就需要一个计划来实现这些目标。实现目标的方法取决于您的起点。评估现有模型以了解其能力。现成模型越强大，您需要做的工作就越少。

例如，如果您的目标是自动化 60% 的客户支持工单，而您想要使用的现成模型已经可以自动化 30% 的工单，那么您需要投入的努力可能会少于如果它根本无法自动化任何工单的情况。

在评估后，您的目标可能会发生变化。例如，在评估后，您可能会意识到将应用程序推向有用性阈值所需的资源将超过其潜在回报，因此，您不再想追求它。

规划一个 AI 产品需要考虑其最后一公里的挑战。基础模型的初步成功可能会产生误导。由于基础模型的基本能力已经相当出色，因此构建一个有趣的演示可能不会花费太多时间。

然而，一个好的初步演示并不能保证最终产品的质量。构建一个演示可能只需一个周末，但构建一个产品可能需要几个月，甚至几年。

在论文《UltraChat》中，Ding et al. (2023) 共享了 “从 0 到 60 的旅程很简单，而从 60 到 100 的进展却变得异常具有挑战性。” LinkedIn (2024) 也分享了同样的看法。他们花了一个月的时间才实现他们想要的 80%的体验。这一初步成功让他们严重低估了改进产品所需的时间。他们发现，最终超越 95%又花了四个月的时间。

花费了大量时间来解决产品的问题和处理幻觉。每取得 1%的进展都非常缓慢，这令人沮丧。

维护

产品规划不仅仅是在实现其目标后就结束。您需要考虑这个产品可能随着时间的推移而如何变化，以及它应该如何维护。AI 产品的维护面临着 AI 快速变化的额外挑战。

在过去十年中，人工智能领域发展迅速。未来十年它可能还会继续迅速发展。基于当前基础模型的构建意味着要决心乘坐这列高速列车。

许多变化是好的。例如，许多模型的局限性正在得到解决。上下文长度变得更长。模型输出变得更好。模型推理，即在给定输入的情况下计算输出的过程，变得更快且更便宜。图 1-11显示了 2022 年至 2024 年间在大规模多任务语言理解（MMLU）(Hendrycks et al., 2020)这一流行基础模型基准上推理成本和模型性能的演变。

图 1-11。人工智能推理的成本随着时间的推移迅速下降。图片来自 Katrina Nguyen (2024)。

然而，即使是这些良好的变化也可能在你的工作流程中造成摩擦。你必须时刻保持警惕，并对每一项技术投资进行成本效益分析。今天最佳的选择在明天可能变成最差的选择。

您可能决定在内部构建一个模型，因为这似乎比支付模型提供商的费用更便宜，但在三个月后发现模型提供商的价格已经降了一半，使得内部构建成为昂贵的选择。

您可能会投资于第三方解决方案，并围绕它定制您的基础设施，但供应商可能会在未能获得资金后倒闭。

有些变化更容易适应。例如，随着模型提供者趋向于相同的 API，替换一个模型 API 为另一个变得更加容易。

然而，由于每个模型都有其独特之处、优点和缺点，使用新模型的开发者需要调整他们的工作流程、提示和数据以适应这个新模型。

没有适当的版本控制和评估基础设施，这个过程可能会造成很多麻烦。

有些变化更难适应，尤其是与法规相关的变化。围绕人工智能的技术被许多国家视为国家安全问题，这意味着包括计算、人才和数据在内的人工智能资源受到严格监管。

例如，欧洲的一般数据保护法规（GDPR）的引入，估计使企业需要花费$90 亿来达到合规要求。计算资源的可用性可能会在一夜之间发生变化，因为新法律对谁可以购买和销售计算资源的限制越来越多（见美国 2023 年 10 月的行政命令）。如果您的 GPU 供应商突然被禁止向您的国家销售 GPU，您将面临麻烦。

某些变化甚至可能是致命的。例如，关于知识产权（IP）和人工智能使用的法规仍在不断发展。如果你将产品建立在一个使用他人数据训练的模型之上，你能否确定你产品的知识产权将始终属于你？

我谈过的许多以知识产权为重的公司，比如游戏工作室，因担心后续失去他们的知识产权而犹豫是否使用人工智能。

一旦您决定构建一个 AI 产品，让我们来看看构建这些应用所需的工程技术栈。

人工智能堆栈的三层

任何 AI 应用程序堆栈都有三个层次：应用程序开发、模型开发和基础设施。当开发 AI 应用程序时，您可能会从最上层开始，然后根据需要向下移动：

应用开发

随着模型的广泛可用，任何人都可以使用它们来开发应用程序。这是过去两年中最活跃的层次，并且仍在快速发展。应用程序开发涉及为模型提供良好的提示和必要的上下文。

该层需要严格评估。好的应用程序也需要好的接口。

模型开发

该层提供用于开发模型的工具，包括建模、训练、微调和推理优化的框架。由于数据是模型开发的核心，因此该层还包含数据集工程。模型开发还需要严格的评估。

基础设施

底部是堆栈的基础设施，包括模型服务、数据和计算管理以及监控的工具。

这三层及每层的职责示例如图 1-14所示。

图 1-14。AI 工程堆栈的三个层次。

为了了解基础模型如何影响生态系统，2024 年 3 月，我在 GitHub 上搜索了所有至少有 500 颗星的与 AI 相关的仓库。鉴于 GitHub 的普及，我认为这些数据可以很好地代表生态系统的情况。

在我的分析中，我还包括了应用程序和模型的存储库，它们分别是应用程序开发和模型开发层的产品。我发现总共有 920 个存储库。图 1-15 显示了每个类别每月的存储库累计数量。

图 1-15。随着时间推移，各类别仓库的累积计数。

数据显示，2023 年的 AI 工具数量大幅增加，这是在 Stable Diffusion 和 ChatGPT 推出后发生的。2023 年，增长幅度最大的类别是应用程序和应用程序开发。

基础设施层有所增长，但增长幅度远低于其他层。这是可以预料的。尽管模型和应用发生了变化，但核心基础设施需求——资源管理、服务、监控等——仍然保持不变。

这把我们带到了下一个要点。尽管基础模型的兴奋和创造力达到了前所未有的水平，但构建人工智能应用的许多原则仍然是相同的。
For enterprise use cases, AI applications still need to solve business problems, and, therefore, it’s still essential to map from business metrics to ML metrics and vice versa. You still need to do systematic experimentation. 

在经典的机器学习工程中，你会尝试不同的超参数。对于基础模型，则会尝试不同的模型、提示、检索算法、采样变量等。（采样变量的讨论见第 2 章。）我们仍希望使模型运行得更快、更便宜。建立反馈循环仍然很重要，这样我们才能通过生产数据对应用进行迭代改进。

This means that much of what ML engineers have learned and shared over the last decade is still applicable. This collective experience makes it easier for everyone to begin building AI applications. 

然而，在这些持久原则之上，构建了许多独特于人工智能工程的创新，我们将在本书中探讨这些创新。

人工智能工程与机器学习工程

虽然部署 AI 应用的始终如一的原则令人安心，但理解事物如何变化也同样重要。

这对希望将现有平台适应新的 AI 应用场景的团队以及对学习哪些技能以在新市场中保持竞争力感兴趣的开发者来说是有帮助的。

At a high level, building applications using foundation models today differs from traditional ML engineering in three major ways: 

1. 
   没有基础模型，您必须为自己的应用程序训练自己的模型。通过人工智能工程，您可以使用他人为您训练的模型。这意味着人工智能工程更少关注建模和训练，而更多关注模型适应。

2. 
   人工智能工程使用的模型比传统机器学习工程更大，消耗更多计算资源，并且延迟更高。这意味着对高效训练和推理优化的压力更大。
   
   计算密集型模型的一个推论是，现在许多公司需要更多的 GPU，并且使用比之前更大的计算集群，这意味着需要更多知道如何使用 GPU 和大型集群的工程师。²³

3. 
   AI 工程涉及可以生成开放式输出的模型。开放式输出赋予模型用于更多任务的灵活性，但它们也更难评估。这使得评估在 AI 工程中成为一个更大的问题。

总之，AI 工程与 ML 工程的不同之处在于，它更少关注模型开发，而更多关注模型的调整和评估。

我在这一章中提到了几次模型适应，因此在我们继续之前，我想确保我们对模型适应的意义达成一致。

一般来说，模型适应技术可以分为两类，具体取决于它们是否需要更新模型权重。

基于提示的技术，包括提示工程，能够在不更新模型权重的情况下适应模型。 你通过提供指令和上下文来适应模型，而不是改变模型本身。提示工程更容易上手，并且需要的数据更少。许多成功的应用程序仅通过提示工程建立。

它的易用性使您可以尝试更多模型，这增加了您找到意外适合您应用的模型的机会。然而，提示工程可能不足以应对复杂任务或对性能要求严格的应用。

微调另一方面，需要更新模型权重。 您通过对模型本身进行更改来调整模型。一般而言，微调技术更复杂，并且需要更多的数据，但它们可以显著提高模型的质量、延迟和成本。

许多事情在不改变模型权重的情况下是不可能实现的，比如将模型适应于它在训练期间没有接触过的新任务。

现在，让我们仔细看看应用开发和模型开发层，以了解每个层级如何随着人工智能工程的进步而变化，首先从现有的机器学习工程师更熟悉的内容开始。

本节概述了开发 AI 应用程序所涉及的不同过程。这些过程是如何运作的将在本书中讨论。

AI 工程与全栈工程

对应用开发，特别是界面的重视增加，使得人工智能工程越来越接近全栈开发。²⁷ 界面的重要性上升导致了人工智能工具设计的转变，以吸引更多的前端工程师。传统上，机器学习工程以 Python 为中心。在基础模型出现之前，最流行的机器学习框架主要支持 Python API。今天，Python 仍然很受欢迎，但 JavaScript API 的支持也在增加，包括LangChain.js、Transformers.js、OpenAI 的 Node 库和Vercel 的 AI SDK。

虽然许多 AI 工程师来自传统的机器学习背景，但越来越多的工程师则来自网页开发或全栈背景。

全栈工程师相较于传统的机器学习工程师的一个优势是他们能够快速将想法转化为演示，获取反馈并进行迭代。

在传统的机器学习工程中，您通常从收集数据和训练模型开始。

产品的构建排在最后。然而，随着今天 AI 模型的普遍可用，可以先从产品构建开始，只有在产品显示出潜力后，才投资于数据和模型，如图 1-16所示。

图 1-16.新的人工智能工程工作流程奖励那些能够快速迭代的人。图像重制自《人工智能工程师的崛起》（Shawn Wang, 2023）。

在传统的机器学习工程中，模型开发和产品开发通常是分离的过程，许多组织中的机器学习工程师很少参与产品决策。

然而，在基础模型方面，AI 工程师往往更深入地参与产品的构建。