在过去的两周里,以代理方式使用LLM的人数大幅增加。具体来说,像AutoGPT、BabyAGI、CAMEL和Generative Agents这样的项目已经出现。LangChain社区现在已经在LangChain框架中实施了所有这些项目的一些部分。在研究和实施这些项目时,我们试图最好地了解它们之间的区别以及每个项目的新颖之处。这个博客是对我们所学知识的解释。
注意:这是一个相当技术性的博客。它假设对LangChain和这些相关项目有一定的熟悉程度。如果你不熟悉这些项目,读一篇更具介绍性的文章(比如索菲亚·杨的这篇精彩的文章)可能会有所帮助。
TL;DR:
- “自主代理”项目(BabyAGI、AutoGPT)的长期目标在很大程度上是新颖的,这需要新型的规划技术和不同的内存使用。
- “代理模拟”项目(CAMEL,Generative Agents)在很大程度上是新颖的,因为它们的模拟环境和基于事件反映和调整的长期内存。
我们还讨论了我们在LangChain框架中复制的每个项目的哪些部分,以及我们为什么选择这些部分。在LangChain框架中实现这些功能有以下好处:
- 允许在LLM提供商之间轻松切换
- 允许轻松切换VectorStore提供程序(或其他检索方法)
- 允许连接到LangChain的工具集合
- 允许连接到LangChain生态系统
背景
首先,让我们从一些背景上下文开始。什么是“代理人”,为什么他们很重要?在这次讨论中,我们将使用LangChain命名法,尽管值得注意的是,这个领域非常新,没有超标准的术语。
代理通常指的是使用语言模型作为推理引擎,并将其连接到两个关键组件:工具和内存。
工具有助于将LLM连接到其他数据或计算源。工具的示例包括搜索引擎、API和其他数据存储。工具很有用,因为LLM只知道他们接受过什么培训。这些知识很快就会过时。为了克服这些限制,工具可以获取最新的数据,并将其作为上下文插入到提示中。工具也可以用来采取行动(例如运行代码、修改文件等),然后LLM可以观察行动的结果,并将其纳入下一步行动的决策中。
内存有助于代理记住以前的交互。这些交互可以是与其他实体(人类或其他代理)的交互,也可以是与工具的交互。这些记忆可以是短期的(例如,之前5种工具使用的列表),也可以是长期的(过去的工具使用似乎与当前情况最相似)。
在LangChain中,我们将“代理”称为LLM,它决定采取什么行动;“工具”是指代理人可以采取的行动;“内存”是拉入以前事件的行为,而AgentExecutor是在while循环中运行代理直到满足某些停止条件的逻辑。
定型的LangChain Agent是基于Yao等人在2022年11月提出的推理和代理(ReAct)框架。这种方法的特征在于以下算法:
- 用户向代理提供任务
- 思考:代理人“思考”该做什么
- 动作/动作输入:代理决定采取什么动作(也就是使用什么工具)以及该工具的输入应该是什么
- 观察:工具的输出
- 重复步骤2-4,直到Agent“认为”完成为止
- 在讨论其他实现和框架时,我们将把它们与此算法进行比较。
自动GPT
链接:
这个项目有什么新颖之处?
AutoGPT项目与传统LangChain代理之间的主要差异可归因于不同的目标。在AutoGPT中,目标往往更为开放和长期。这意味着AutoGPT有不同的AgentExecutor和不同的内存处理方式(这两种方式都针对长时间运行的任务进行了更优化)。此前,LangChain中代理的记忆有两种形式:
- 代理步骤的记忆:这是通过保留与该任务相关的中间代理步骤列表,并将完整列表传递给LLM调用来完成的
- 系统记忆:这记住了最终的输入和输出(但忘记了中间代理步骤)
由于AutoGPT运行时间更长,将代理步骤的完整列表传递给LLM调用不再可行。相反,AutoGPT在中间代理步骤上添加了一个基于检索的内存。在引擎盖下,这种基于检索的内存正在使用VectorStore对嵌入进行语义搜索。请注意,LangChain具有这种类型的基于检索的内存,但它以前应用于用户-代理交互,而不是代理-工具交互。
我们是如何将其纳入LangChain的?
我们在langchain.experimental中添加了一个版本,在这个地方,我们可以放置更多的实验性和更新的代码,同时找出适当的抽象。具体来说,我们已经实现了所使用的提示模板逻辑,以及用于运行代理的while循环。我们已经使其与LangChain LLM包装器、LangChain VectorStores和LangChain工具兼容。
我们还创建了这个笔记本,展示了如何使用它。
BabyAGI
链接:
这个项目有什么新颖之处?
BabyAGI项目与传统LangChain代理商的不同之处在于:
- 与AutoGPT类似,它将基于检索的内存应用于中间代理工具步骤。
- 它有单独的计划和执行步骤,一次计划一系列行动(而不仅仅是下一个行动)
与AutoGPT类似,BabyAGI是为更长时间运行的任务而设计的,这导致了这两种差异。
让我们进一步讨论第二点,因为这是更重要和实质性的区别之一。在传统的LangChain Agent框架(以及AutoGPT框架)中,Agent一次向前思考一步。对于一个特定的世界状态,它思考下一个即时行动应该是什么,然后采取行动。
BabyAGI的不同之处在于它明确地计划了一系列行动。然后,它对第一个执行,然后使用结果执行另一个计划步骤并更新其任务列表。我们的直觉是,通过将规划步骤本质上用作状态跟踪系统,这使它能够更好地执行更复杂、更复杂的任务。。我们观察到(轶事),对于需要许多步骤的任务,传统的LangChain Agent有时会在几步后忘记其最初的目标,因此提前计划所有步骤可能是有益的。
我们是如何将其纳入LangChain的?
与AutoGPT类似,我们将其添加到langchain.experimental中。具体而言,我们实现了所使用的提示模板逻辑,以及用于运行代理的while循环。我们已经使其与LangChain LLM包装器、LangChain向量库和LangChain工具兼容。
Camel
这个项目有什么新颖之处?
这个项目的主要新颖之处在于邀请了两名特工,每个特工都有自己的个性,并让他们互相聊天。从这个意义上说,有两个新的组成部分:让两个代理以协作的方式相互作用的想法,以及特定的模拟环境。
两个代理交互的想法并不是全新的。鉴于LangChain的模块化性质,我们长期以来一直支持让代理使用其他代理作为工具。然而,这种类型的交互的新颖之处在于,两个代理是平等的——在以前的LangChain实现中,总是有一个代理以“堆叠”的方式调用另一个代理作为工具。这种将两个代理置于平等的基础上,而不是让一个代理将另一个代理用作工具的想法,引起了一种特别有趣的共鸣,即看到不断演变的行为出现。
请注意,这些代理可以使用不同的工具,并且可以专门针对这些工具。例如,你可以有一个代理,它配备了编码所需的工具,另一个代理配备了与线性交互所需的刀具,等等。因此,仍然有可能实现“堆叠”效果(你有不同的代理负责不同的事情)。
第二个新颖的组成部分是特定的模拟环境。这是一个双边对话,并不十分复杂,但仍然是我们所看到的第一次在研究环境中实现这一点。
我们是如何将其纳入LangChain的?
我们添加了一个笔记本,在很大程度上反映了模拟环境(有两个代理相互聊天)。我们可能会考虑在未来使这种模拟环境更加现成。
Generative Agents
链接:
这个项目有什么新颖之处?
这个项目有两个新颖(而且相当复杂)的方面。第一个是模拟环境,它由25个不同的代理组成。这看起来相当具体,也非常复杂,所以我们没有过多地探讨。另一个新颖的方面是他们为这些代理创造的长期记忆。
本周早些时候,我们对此进行了深入研究。代理的内存由以下部分组成:
- 重要性反思步骤,为每个观察结果打分。这个分数可以用于后续的检索,以获取特别重要的记忆,而忽略基本的记忆
- 反思步骤,“暂停”并思考代理人学到了什么概括。然后,这些反射可以与正常记忆一起检索。这个反射步骤可以用来浓缩信息并观察最近记忆中的模式
- 一种结合了最近性、与情况的相关性和重要性的检索器。这可以让人们回忆起与不久前发生的情况类似的记忆,尤其重要。所有这些似乎都是自然反映我们人类如何“找回”记忆的属性
所有这些记忆成分都相当新颖,对我们来说非常令人兴奋。
我们是如何将其纳入LangChain的?
检索器逻辑似乎是可推广的,所以我们将其添加为TimeWeightedVectorStoreRetriever
.
我们添加了一个笔记本,展示了如何使用反射步骤+新的检索器来复制论文描述的部分设置。
模拟环境似乎很复杂,而且不太通用,所以我们没有在那里做任何事情。
结论
所有这些项目理所当然地获得了很多关注。我们将它们视为两个独立的类别:
- 自主代理(Autonomous Agents,),具有改进的规划能力
- Agent Simulations(Agent Simulations),具有新颖的模拟环境和复杂的、不断发展的内存
我们很高兴已经开始在LangChain生态系统中实施这些项目的一部分,并期待着看到社区如何使用、添加和组合这些项目🙂
- 登录 发表评论