大语言模型

虽然设计提示没有对错之分，但您可以使用一些常见的策略来影响模型的响应。严格的测试和评估对于优化模型性能仍然至关重要。

大型语言模型（LLM）在大量文本数据上进行训练，以学习语言单元之间的模式和关系。当给出一些文本（提示）时，语言模型可以预测接下来可能会发生什么，就像一个复杂的自动补全工具。因此，在设计提示时，要考虑可能影响模型预测结果的不同因素。

提示的工程工作流程

快速工程是一个测试驱动的迭代过程，可以提高模型性能。在创建提示时，重要的是要明确界定每个提示的目标和预期结果，并对其进行系统测试，以确定需要改进的领域。

下图显示了提示工程工作流程：

提示工程工作流程图

如何创建有效的提示

提示的两个方面最终会影响其有效性：内容和结构。

多回合聊天是指模型跟踪聊天对话的历史记录，然后将该历史记录用作响应的上下文。本页向您展示了如何使用能够进行多回合聊天的模型来为聊天机器人或数字助理供电。

聊天机器人用例

以下是聊天机器人的常见用例：

• 客户服务：回答客户问题，排除故障，并提供信息。
• 销售和营销：产生潜在客户，确定潜在客户资格，并回答问题。
• 生产力：安排约会、创建任务和查找信息。
• 教育和培训：根据学生的水平，回答问题并给予反馈。
• 研究：收集数据、进行调查和分析数据。

聊天提示组件

您可以在聊天提示中添加以下类型的内容：

• 消息（必填）
• 上下文（推荐）
• 示例（可选）

消息（必填）

消息包含作者消息和聊天机器人响应。聊天会话包括多条消息。聊天生成模型响应聊天会话中的最新作者消息。聊天会话历史记录包括最新消息之前的所有消息。

令牌限制决定了聊天生成模型保留多少条消息作为对话上下文。当历史记录中的消息数量接近令牌限制时，将删除最旧的消息并添加新消息。

以下是一条示例消息：

该存储库包含用于编码、预训练和微调类似GPT的LLM的代码，是《构建大型语言模型（从头开始）》一书的官方代码存储库。

（如果您从Manning网站下载了代码包，请考虑访问GitHub上的官方代码库，网址为https://github.com/rasbt/LLMs-from-scratch.)

For the past 6 months, I’ve been working on LLM-powered applications using GPT and other AI-as-a-Service providers. Along the way, I produced a set of illustrations to help visualize and explain some general architectural concepts.

Below is the first batch, I’m hoping to add more later on.

Building LLM-powered Applications

The past few weeks have been exciting for developers interested in deploying AI-powered applications. The field is evolving quickly, and it is now possible to build AI-powered applications without having to spend months or years learning the ins and outs of machine learning. This opens up a whole new world of possibilities, as developers can now experiment with AI in ways that were never before possible.

How can you leverage the capabilities of Large Language Models (LLMs) within your software applications?

You cannot simply create a thin application layer above an LLM API. Instead you need to design and build a number of components to ‘tame’ the underlying models and also to differentiate your product.

🚀 People ask me what it takes to build a scalable Large Language Model (LLM) app in 2023. When we talk about scalable we mean 100s of users and millisecond latency. Let me share some of our learning experience with you.