人工智能

TL；DR：我们宣布对我们的回调系统进行改进，该系统支持日志记录、跟踪、流输出和一些很棒的第三方集成。这将更好地支持具有独立回调的并发运行，跟踪深度嵌套的LangChain组件树，以及范围为单个请求的回调处理程序（这对于在服务器上部署LangChain非常有用）。

[编者按]：这是杰克·西蒙的客串帖子，他最近参加了威廉姆斯学院的黑客马拉松。他构建了一个由LangChain驱动的聊天机器人，重点关注阑尾癌症，旨在让有需要的人更容易获得专业知识。如果你有兴趣为另一种罕见的情况构建聊天机器人，请联系jms9@williams.edu.

我们之所以强调这一点，是因为我们认为这是问答系统的一个极好且不受重视的用例。虽然底层技术可能与其他问答应用程序类似，但我们发现这种用例对社会的影响特别大。

上周，我参加了威廉姆斯学院的一场黑客马拉松，在那里我建立了一个聊天机器人，它改变了我们获取罕见疾病信息的方式。通过结合文献综述、临床试验数据和学术论文，我创建了一个由LangChain驱动的聊天机器人，它可以提供有关一种特殊罕见疾病——阑尾癌症的宝贵信息。

虽然这个演示侧重于一种罕见的疾病，但我计划通过添加尽可能多的罕见疾病信息来扩展聊天机器人的知识库。最终愿景是创建一个人工智能驱动的应用程序，为患者和医疗保健专业人员提供可靠的信息来源。

LangChain的核心价值支柱之一是能够将大型语言模型与您自己的文本数据相结合。有多种（四种！）不同的方法可以做到这一点，并且可以为许多不同的应用程序提供动力。

使用文本数据的上游一步是将数据转换为文本形式。由于存在多种不同的格式，这可能相当棘手。

进unstructured.io。

Unstructured是一家致力于将自然语言数据从原始数据转换为可供机器使用的数据的公司。他们实现这一点的主要方法之一是使用开源Python包。此包支持多种不同类型的文件扩展名：.txt、.docx、.pptx、.jpg、.png、.eml、.html和.pdf文档。

LangChain教程，用于在Python中使用大型语言模型构建任何东西

“What did the stochastic parrot say to the other?” (Image drawn by the author)

自从ChatGPT发布以来，大型语言模型（LLM）获得了很大的流行。尽管你可能没有足够的资金和计算资源在地下室从头开始训练LLM，但你仍然可以使用预先训练的LLM来构建一些很酷的东西，例如：

• 可以根据您的数据与外界互动的个人助理
• 为您的目的定制聊天机器人
• 对您的文档或代码进行分析或总结

LLM正在改变我们构建人工智能产品的方式

通过RAG致富：利用LLM的力量，使用检索增强生成与您的数据对话

问ChatGPT一个关于“马拉松”一词起源的问题，它会准确地告诉你希罗多德是如何描述费迪皮德斯从马拉松到雅典完成的42公里传奇长跑的，然后筋疲力尽。

但我祖母的食谱清单呢？当然，我可以把这些食谱数字化，没问题。但是，如果我想根据冰箱里的食材、我最喜欢的颜色和我一天的心情，就准备哪顿饭提出建议，该怎么办？

让我们看看这是否有可能在不因精疲力竭而崩溃的情况下实现。

LLM，达到你的极限…并超越它们

LLM是一种大型语言模型。OpenAI的GPT-4是一个例子，Meta的LLamA是另一个例子。我们在这里有意识地选择使用一般LLM术语来指代这些模型。请记住：这些模型中的每一个都是在一组庞大的（公开可用的）数据上进行训练的。

到目前为止，已经清楚地表明，这些LLM对通用语言有着有意义的理解，并且他们能够（重新）产生与训练数据中存在的信息相关的信息。这就是为什么像ChatGPT这样的生成工具在回答LLM在培训过程中遇到的主题问题方面表现惊人。

ChatGPT已经成为大多数人每天用来自动化各种任务的不可或缺的工具。如果你使用过ChatGPT任何一段时间，你都会意识到它可能会提供错误的答案，并且在一些小众主题上限制为零上下文。这就提出了一个问题，即我们如何利用chatGPT来弥合差距，并允许chatGPT拥有更多的自定义数据。

丰富的知识分布在我们日常互动的各种平台上，即通过工作中的融合wiki页面、松弛组、公司知识库、Reddit、Stack Overflow、书籍、时事通讯和同事共享的谷歌文档。掌握所有这些信息来源本身就是一项全职工作。

如果你能有选择地选择你的数据源，并将这些信息轻松地输入到ChatGPT与你的数据的对话中，那不是很好吗？

1.通过Prompt Engineering提供数据

在我们讨论如何扩展ChatGPT之前，让我们看看如何手动扩展ChatGPT以及存在哪些问题。扩展ChatGPT的传统方法是通过即时工程(prompt engineering)。

这很简单，因为ChatGPT是上下文感知的。首先，我们需要通过在实际问题之前附加原始文档内容来与ChatGPT进行交互。

目前市场上有许多人工智能玩家，包括ChatGPT、Google Bard、Bing人工智能聊天等等。然而，所有这些都需要你有互联网连接才能与人工智能交互。如果你想在电脑上安装类似的大型语言模型（LLM）并在本地使用它怎么办？一个人工智能聊天机器人，你可以在没有互联网连接的情况下私下使用。好吧，通过斯坦福大学发布的新羊驼模型，你可以接近这个现实。是的，你可以离线在你的电脑上运行类似ChatGPT的语言模型。因此，请注意，让我们继续学习如何在没有互联网的情况下在本地使用LLM。

在没有互联网的情况下本地运行类似于LLM的ChatGPT（私有且安全）

在这篇文章中，我提到了如何在没有互联网的情况下在本地PC上运行类似ChatGPT的LLM的所有内容。您可以展开下表，详细了解步骤。

目录

总结

我们表明，任何人都可以使用高质量的训练数据，在一台机器上用30分钟对其进行训练，从而获得过时的开源大型语言模型（LLM），并赋予其神奇的ChatGPT般的指令跟随能力。令人惊讶的是，指令遵循似乎不需要最新或最大的模型：我们的模型只有60亿个参数，而GPT-3的参数为1750亿。我们为我们的模型（Dolly）开源代码，并展示如何在Databricks上重新创建它。我们相信，像Dolly这样的模特将有助于LLM的民主化，将它们从很少有公司能负担得起的东西转变为每个公司都可以拥有和定制的商品，以改进他们的产品。

出身背景

ChatGPT是一种专有的指令遵循模型，于2022年11月发布，风靡全球。该模型是根据网络上数万亿个单词进行训练的，需要大量的GPU来开发。这很快导致谷歌和其他公司发布了自己的专有指令遵循模型。2023年2月，Meta向学术研究人员发布了一组名为LLaMA的高质量（但不遵循指令）语言模型的权重，每个模型训练超过80000 GPU小时。然后，在三月份，斯坦福大学建立了Alpaca模型，该模型基于LLaMA，但调整了一个由50000个类似人类的问答组成的小数据集，令人惊讶的是，这使它表现出了类似ChatGPT的交互性。

ChatGPT能够在几秒钟内就任何主题生成连贯全面的文章，这使它成为改变游戏规则的信息资源，也是教育工作者的克星。OpenAI的对话式大型语言模型在发布后的几周内积累了数百万每日用户，但也被美国、澳大利亚、法国和印度的学区禁止。

虽然强大的大型语言模型（LLM），如ChatGPT（OpenAI，2022）、PaLM（Chowdhery et al.，2022）和GPT-3（Brown et al.，2020），有无数有益的应用，但它们也可以用来在家庭作业中作弊，或写令人信服但不准确的新闻文章。此外，他们经常产生虚假信息。因此，区分机器从人类书写的文本中生成的任务在许多领域变得至关重要。但随着LLM输出变得越来越流畅和人性化，这项任务变得越来越困难。

斯坦福大学的一个研究团队在新论文《DetectGPT：使用概率曲率的零样本机器生成文本检测》中解决了这个问题，提出了DetectGPS，一种新的零样本机器生成文本的检测方法，使用概率曲率来预测候选通道是否由特定LLM生成。

该团队将其研究的主要贡献总结如下：

人工智能（AI）由各种革命性的技术组成，这些技术已经出现，可以解决复杂的现代现实世界问题。这些问题涵盖了从进行高级计算到减少人力的各个方面。

人工智能可以用于各种各样的事情，其中一些用例非常令人惊讶。人工智能的世界是广阔而复杂的，但也有很多非专业人士可以探索的软件。

这种基于人工智能的软件在让普通人了解这个新兴领域方面发挥了巨大作用。这种技术通常会描述软件是如何开发的，它使用了什么样的模型，是什么激发了它，等等。

以下是五种基于人工智能的工具的列表，这些工具在互联网上很容易访问，它们的强大程度会让你大吃一惊。

DALL·E 2、Thing Translator和其他三种令人惊叹的人工智能工具，你应该在2023年尝试

这五个工具让您深入了解在您使用的应用程序上看到的简单外观背后发生了什么。这些基于人工智能的工具中的每一个都是实用的和有趣的。