跳转到主要内容

标签(标签)

资源精选(342) Go开发(108) Go语言(103) Go(99) angular(82) LLM(75) 大语言模型(63) 人工智能(53) 前端开发(50) LangChain(43) golang(43) 机器学习(39) Go工程师(38) Go程序员(38) Go开发者(36) React(33) Go基础(29) Python(24) Vue(22) Web开发(20) Web技术(19) 精选资源(19) 深度学习(19) Java(18) ChatGTP(17) Cookie(16) android(16) 前端框架(13) JavaScript(13) Next.js(12) 安卓(11) 聊天机器人(10) typescript(10) 资料精选(10) NLP(10) 第三方Cookie(9) Redwoodjs(9) LLMOps(9) Go语言中级开发(9) 自然语言处理(9) PostgreSQL(9) 区块链(9) mlops(9) 安全(9) 全栈开发(8) ChatGPT(8) OpenAI(8) Linux(8) AI(8) GraphQL(8) iOS(8) 软件架构(7) Go语言高级开发(7) AWS(7) C++(7) 数据科学(7) whisper(6) Prisma(6) 隐私保护(6) RAG(6) JSON(6) DevOps(6) 数据可视化(6) wasm(6) 计算机视觉(6) 算法(6) Rust(6) 微服务(6) 隐私沙盒(5) FedCM(5) 语音识别(5) Angular开发(5) 快速应用开发(5) 提示工程(5) Agent(5) LLaMA(5) 低代码开发(5) Go测试(5) gorm(5) REST API(5) 推荐系统(5) WebAssembly(5) GameDev(5) CMS(5) CSS(5) machine-learning(5) 机器人(5) 游戏开发(5) Blockchain(5) Web安全(5) Kotlin(5) 低代码平台(5) 机器学习资源(5) Go资源(5) Nodejs(5) PHP(5) Swift(5) 智能体(4) devin(4) Blitz(4) javascript框架(4) Redwood(4) GDPR(4) 生成式人工智能(4) Angular16(4) Alpaca(4) 编程语言(4) SAML(4) JWT(4) JSON处理(4) Go并发(4) kafka(4) 移动开发(4) 移动应用(4) security(4) 隐私(4) spring-boot(4) 物联网(4) nextjs(4) 网络安全(4) API(4) Ruby(4) 信息安全(4) flutter(4) 专家智能体(3) Chrome(3) CHIPS(3) 3PC(3) SSE(3) 人工智能软件工程师(3) LLM Agent(3) Remix(3) Ubuntu(3) GPT4All(3) 软件开发(3) 问答系统(3) 开发工具(3) 最佳实践(3) RxJS(3) SSR(3) Node.js(3) Dolly(3) 移动应用开发(3) 低代码(3) IAM(3) Web框架(3) CORS(3) 基准测试(3) Go语言数据库开发(3) Oauth2(3) 并发(3) 主题(3) Theme(3) earth(3) nginx(3) 软件工程(3) azure(3) keycloak(3) 生产力工具(3) gpt3(3) 工作流(3) C(3) jupyter(3) 认证(3) prometheus(3) GAN(3) Spring(3) 逆向工程(3) 应用安全(3) Docker(3) Django(3) R(3) .NET(3) 大数据(3) Hacking(3) 渗透测试(3) C++资源(3) Mac(3) 微信小程序(3) Python资源(3) JHipster(3) 大型语言模型(2) 语言模型(2) 可穿戴设备(2) JDK(2) SQL(2) Apache(2) Hashicorp Vault(2) Spring Cloud Vault(2) Go语言Web开发(2) Go测试工程师(2) WebSocket(2) 容器化(2) AES(2) 加密(2) 输入验证(2) ORM(2) Fiber(2) Postgres(2) Gorilla Mux(2) Go数据库开发(2) 模块(2) 泛型(2) 指针(2) HTTP(2) PostgreSQL开发(2) Vault(2) K8s(2) Spring boot(2) R语言(2) 深度学习资源(2) 半监督学习(2) semi-supervised-learning(2) architecture(2) 普罗米修斯(2) 嵌入模型(2) productivity(2) 编码(2) Qt(2) 前端(2) Rust语言(2) NeRF(2) 神经辐射场(2) 元宇宙(2) CPP(2) 数据分析(2) spark(2) 流处理(2) Ionic(2) 人体姿势估计(2) human-pose-estimation(2) 视频处理(2) deep-learning(2) kotlin语言(2) kotlin开发(2) burp(2) Chatbot(2) npm(2) quantum(2) OCR(2) 游戏(2) game(2) 内容管理系统(2) MySQL(2) python-books(2) pentest(2) opengl(2) IDE(2) 漏洞赏金(2) Web(2) 知识图谱(2) PyTorch(2) 数据库(2) reverse-engineering(2) 数据工程(2) swift开发(2) rest(2) robotics(2) ios-animation(2) 知识蒸馏(2) 安卓开发(2) nestjs(2) solidity(2) 爬虫(2) 面试(2) 容器(2) C++精选(2) 人工智能资源(2) Machine Learning(2) 备忘单(2) 编程书籍(2) angular资源(2) 速查表(2) cheatsheets(2) SecOps(2) mlops资源(2) R资源(2) DDD(2) 架构设计模式(2) 量化(2) Hacking资源(2) 强化学习(2) flask(2) 设计(2) 性能(2) Sysadmin(2) 系统管理员(2) Java资源(2) 机器学习精选(2) android资源(2) android-UI(2) Mac资源(2) iOS资源(2) Vue资源(2) flutter资源(2) JavaScript精选(2) JavaScript资源(2) Rust开发(2) deeplearning(2) RAD(2)

Tutorial: ChatGPT Over Your DataNote: See the accompanying GitHub repo for this blogpost here.

ChatGPT席卷全球。数以百万计的人在使用它。但尽管它对通用知识很有帮助,但它只知道自己接受过哪些培训的信息,即2021年之前普遍可用的互联网数据。它不知道你的私人数据,也不知道最近的数据来源。

如果真的这样做了,那不是很有用吗?

这篇博客文章是关于如何在特定的数据语料库上设置自己的ChatGPT版本的教程。有一个附带的GitHub 代码库,其中有本文中引用的相关代码。具体来说,这涉及到文本数据。有关如何使用自然语言层与其他数据源交互,请参阅以下教程:

  • SQL数据库
  • API(API)

高级演练

在高级别上,有两个组件可以在您自己的数据上设置ChatGPT:(1)数据的接收,(2)数据上的聊天机器人。在这里以高水平走过每个步骤:

数据摄入

Diagram of ingestion process

这可以通过几个子步骤来打破。所有这些步骤都是高度模块化的,作为本教程的一部分,我们将介绍如何替换步骤。步骤如下:

  1. 将数据源加载到文本:这涉及到将数据从任意源加载到可以在下游使用的文本中。这是一个我们希望社区能够提供帮助的地方!
  2. 分块文本:这包括将加载的文本分块成更小的块。这是必要的,因为语言模型通常对它们可以处理的文本量有限制,所以创建尽可能小的文本块是必要的。
  3. 嵌入文本:这包括为每个文本块创建一个数字嵌入。这是必要的,因为我们只想为给定的问题选择最相关的文本块,并且我们将通过在嵌入空间中找到最相似的块来做到这一点。
  4. 将嵌入加载到向量库:这涉及到将嵌入和文档放入向量库。Vectorstores帮助我们快速有效地找到嵌入空间中最相似的块。

数据查询

Diagram of query process

这也可以分为几个步骤。同样,这些步骤是高度模块化的,并且主要依赖于可以替代的提示。步骤如下:

将聊天历史记录和一个新问题合并为一个单独的问题。这是必要的,因为我们希望能够提出后续问题(一个重要的用户体验考虑因素)。

  1. 查找相关文档。使用摄取过程中创建的嵌入和向量库,我们可以查找相关文档以获得答案
  2. 生成响应。给定独立的问题和相关文档,我们可以使用语言模型生成响应
  3. 我们还将简要介绍这个聊天机器人的部署,尽管不要花太多时间(未来的帖子!)

数据摄入

本节将详细介绍获取数据所需的步骤。

Diagram of ingestion process

加载数据

首先,我们需要将数据加载到标准格式中。同样,因为本教程关注的是文本数据,所以常见的格式将是LangChain Document对象。这个对象非常简单,包括(1)文本本身,(2)与该文本相关的任何元数据(它来自哪里,等等)。

因为有太多潜在的地方可以加载数据,所以我们希望这一领域将受到社区的大力推动。至少,我们希望得到很多关于如何从源加载数据的示例笔记本。理想情况下,我们将把加载逻辑添加到核心库中。请参阅此处查看现有的示例笔记本,并参阅此处查看底层代码。如果你想投稿,可以直接打开PR,或者用你的作品片段打开GitHub问题。

下面的行包含负责加载相关文档的代码行。如果您想更改文档加载的逻辑,这是您应该更改的代码行。

loader = UnstructuredFileLoader("state_of_the_union.txt")
raw_documents = loader.load()

拆分文本

除了加载文本之外,我们还需要确保将其分成小块。这是必要的,以确保我们只将最小、最相关的文本片段传递给语言模型。为了分割文本,我们需要初始化一个文本分割器,然后在原始文档上调用它。

下面的行对此负责。如果您想更改文本的拆分方式,您应该更改这些行

text_splitter = RecursiveCharacterTextSplitter()
documents = text_splitter.split_documents(raw_documents)

创建嵌入并存储在vectorstore中

接下来,既然我们有了小块文本,我们需要为每一段文本创建嵌入,并将它们存储在向量库中。这样做是为了让我们可以使用嵌入来只找到要发送到语言模型的最相关的文本片段。

这是通过以下几行完成的。在这里,我们使用OpenAI的嵌入和FAISS向量库。如果我们想更改所使用的嵌入或所使用的向量库,这就是我们要更改它们的地方。

embeddings = OpenAIEmbeddings()
vectorstore = FAISS.from_documents(documents, embeddings)

最后,我们保存创建的向量库,以便以后使用。这样,我们只需要运行一次这个摄取脚本。

with open("vectorstore.pkl", "wb") as f:
	pickle.dump(vectorstore, f)

 

这就是摄取脚本的全部内容!根据您的偏好修改后,您可以运行“python intake_data.py”来运行脚本。这应该会生成一个“vectorstore.pkl”文件。

查询数据

因此,现在我们已经获取了数据,我们现在可以在聊天机器人界面中使用它。为了做到这一点,我们将使用ChatVectorDBChain。为了定制这个链条,我们可以改变一些事情。

Diagram of ChatVectorDBChain

精简问题提示

我们可以控制的第一件事是接收聊天历史记录和新问题并生成独立问题的提示。这是必要的,因为这个独立的问题随后被用来查找相关文档。

这是一个偷偷摸摸的重要步骤。如果你只是使用新问题来查找相关文档,你的聊天机器人将无法很好地处理后续问题(因为在之前的交流中可能有查找相关文档所需的信息)。如果您将整个聊天历史记录与新问题一起嵌入以查找相关文档,则可能会提取与对话不再相关的文档(如果新问题根本不相关)。因此,将聊天历史记录和一个新问题浓缩为一个独立问题的步骤非常重要。

此提示是query_data.py文件中的CONCEE_QUESTION_prompt。

问答提示

你可以拉动的另一个杠杆是接收文档的提示和回答问题的独立问题。这可以自定义为您的聊天机器人提供特定的对话风格。

此提示是query_data.py文件中的QA_prompt

注意:在使用GitHub回购时,必须更改此提示。其中的当前提示指定他们应该只回答有关联合地址状态的问题,这适用于伪示例,但可能不适合您的用例。

语言模型

最后一个杠杆是你用什么语言模型来为你的聊天机器人提供动力。在我们的例子中,我们使用了OpenAI LLM,但它可以很容易地替换为LangChain支持的其他语言模型,或者您甚至可以编写自己的包装器。

把它们放在一起

在进行了所有必要的自定义并运行了python ingest_data.py之后,您如何与这个聊天机器人进行交互?

我们已经公开了一个非常简单的接口,您可以通过它来访问。您只需运行python cli_app.py就可以访问它,这将在终端中打开一种提问和获取答案的方式。试试看!、

我们还有一个通过Gradio部署此应用程序的示例!你可以通过运行python app.py来实现这一点。这也可以很容易地部署到Hugging Face空间——请参阅这里的示例空间