Popular and often-used libraries are listed first

今天有相当多的LLM代理可用。一些最突出的是AutoGPT、AutoGen、BabyAGI和OpenAgents。本文旨在提供这些模型的并排比较，以及我们应该和不应该在哪些用例中使用它们。

AutoGen

AutoGen是一个框架，可以使用多个代理来开发LLM应用程序，这些代理可以相互对话以解决任务。AutoGen代理是可定制的、可交谈的，并无缝地允许人类参与。它们可以在各种模式下运行，这些模式采用LLM、人工输入和工具的组合。通过能够创建可定制和可交谈的代理，AutoGen允许人类在这些多代理对话中无缝参与。

AutoGPT是一个实验性开源应用程序，展示了GPT-4语言模型的功能。该程序由GPT-4驱动，将LLM“思想”链接在一起，以自主实现您设定的任何目标。作为GPT-4完全自主运行的首批例子之一，AutoGPT突破了人工智能的极限。

大型语言模型（LLM）将彻底改变我们构建和维护人工智能系统和产品的方式。在OpenAI的GPT、Meta的Llama和谷歌的BERT等LLM发布后，它们能够生成类似人类的文本、理解上下文并执行广泛的自然语言处理（NLP）任务。一种被称为“LLMOps”的新方法已经发展起来，并成为每个AI/ML社区的话题，以简化我们在生产中开发、部署和维护LLM的方式。

什么是MLOps？

机器学习操作（MLOps）可以被视为软件开发操作（DevOps）中的一个子集挑战，后者包括用于简化公司软件交付流程的软件工程最佳实践和原则。

MLOps专注于ML驱动的项目和产品开发带来的独特挑战，特别是由于ML的新生状态、工件管理和再现性问题、独特的基础设施要求、对实验和监控的永久需求以及对数据域不稳定性的控制。

LLMOps代表“大型语言模型操作”，指的是在人工智能模型的整个生命周期中加快人工智能模型开发、部署和管理的专业实践和工作流程。

LLMOps平台可以提供更高效的库管理，降低运营成本，并使更少的技术人员能够完成任务。这些操作包括数据预处理、语言模型训练、监控、微调和部署。与机器学习操作（MLOps）一样，LLMOps建立在数据科学家、DevOps工程师和IT专业人员的合作基础上。

LLM，如使用GPT-4的OpenAI的ChatGPT和谷歌的BERT，代表了一类新的、更先进的
自然语言处理（NLP）模型可以快速回答自然语言问题、提供摘要并遵循复杂指令。

LLMOps平台将数据科学和软件工程带入一个协作环境，用于数据探索、实时实验跟踪、即时工程以及模型和管道管理。LLMOps自动化了机器学习生命周期中的操作和监控任务。

LLMOps与MLOps

由于LLMOp属于机器学习操作的范围，它可能会被忽视，甚至被称为“LLM的MLOps”，但LLMOp应该单独考虑，因为它特别专注于简化LLM开发。以下是机器学习（ML）工作流和需求随LLM而具体变化的两种方式。

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.

近几个月来，大型语言模型（LLM）已成为自然语言理解和生成不可或缺的工具，在各个行业提供了广泛的潜力。然而，有效实施和管理这些LLM存在相当大的障碍。这就是LMOps（大型模型作战）进入画面的地方。LMOps包括简化LLM的实现、管理和优化的方法、工具和技术。在本文中，我们深入研究了LMOps的关键方面，包括蒸馏、微调和大型模型服务，以及大规模ML、GPU和加速器的结合如何增强LMOps。此外，我们将讨论T5X、PAX和威震天LM等LLM框架如何为LMOps的成功做出贡献，推动创新并交付卓越成果。

LMOps技术

蒸馏(Distillation )是一种旨在缩小大型语言模型的大小，同时保持其准确性的技术。通过在较大模型的输出上训练较小模型，较小模型学会模仿较大模型的预测。通过这一过程，较小的模型可以实现与原始模型相似的精度，同时占用显著较少的存储空间。蒸馏是在资源受限的环境中优化LLM部署的有效策略。