今天我将与大家分享一篇精彩的论文。这项调查提供了LLM文献的最新综述，这对研究人员和工程师来说都是一个有用的资源。

为什么选择LLM？

当参数尺度超过一定水平时，这些扩展的语言模型不仅实现了显著的性能改进，而且还表现出一些小规模语言模型（如BERT）所不具备的特殊能力（如上下文学习）。

为了区分参数尺度的差异，研究界为显著大小的PLM（例如，包含数百亿或数千亿个参数）创造了“大型语言模型”（LLM）一词。

特别是，这里的研究人员关注LLM的四个主要方面，即预训练、适应调整、利用和能力评估。此外，他们还总结了开发LLM的可用资源，并讨论了未来方向的剩余问题。

近年来现有大型语言模型（大小大于10B）的时间表。他们用黄色标记开源LLM。

目录

• Timeline of LLMs

• List of LLMs

• Resources of LLMs

两周前，我们发布了Dolly，这是一个大型语言模型（LLM），经过不到30美元的训练，可以展示类似ChatGPT的人机交互（又称指令跟随）。今天，我们将发布Dolly 2.0，这是第一个开源的指令遵循LLM，它对授权用于研究和商业用途的人工生成指令数据集进行了微调。

Dolly 2.0是一个基于EleutherAI pythia模型家族的12B参数语言模型，专门针对Databricks员工众包的新的、高质量的人工生成指令跟踪数据集进行了微调。

我们正在开源Dolly 2.0的全部内容，包括训练代码、数据集和模型权重，所有这些都适合商业使用。这意味着任何组织都可以创建、拥有和定制功能强大的LLM，这些LLM可以与人对话，而无需为API访问或与第三方共享数据付费。

LangChain和LlamaIndex集成趋势后，GPT-4的新兴任务自动化和人工智能代理

ChatGPT和LLM技术的出现是革命性的。这些最先进的语言模型席卷了世界，激励开发人员、爱好者和组织探索集成和构建这些尖端模型的创新方法。因此，LangChain和LlamaIndex等平台如雨后春笋般涌现，以简化集成并促进新应用程序的开发。

随着我们继续集成ChatGPT和LLM，我们看到越来越多的自主任务和代理利用GPT-4的功能。这些发展不仅增强了处理集成不同系统的复杂任务的能力，还突破了我们使用自主人工智能所能实现的极限。

这是我们生成人工智能博客系列的第一部分。在这篇文章中，我们讨论了如何使用Ray来生产常见的生成模型工作负载。即将发布的一篇博客将深入探讨Alpa等项目为什么要使用Ray来扩展大型模型。

生成的图像和语言模型有望改变企业的设计、支持、开发等方式。本博客重点关注围绕基础模型支持工作负载生产部署的基础设施挑战，以及Ray，一个用于扩展ML工作负载的领先解决方案，如何应对这些挑战。最后，我们制定了一个改进路线图，以使事情变得更容易。

如今，领先的人工智能组织使用Ray大规模训练大型语言模型（LLM）（例如，OpenAI训练ChatGPT，Cohere训练其模型，EleutherAI训练GPT-J，Alpa训练多节点训练和服务）。然而，这些模型之所以如此令人兴奋，其中一个原因是可以对开源版本进行微调和部署，以解决特定问题，而无需从头开始训练。事实上，社区中的用户越来越多地询问如何使用Ray来协调他们自己的生成人工智能工作负载，建立由大型玩家训练的基础模型。

在下表中，我们用绿色突出显示了常见的“生产规模”需求（通常从1-100个节点开始）。这包括以下问题：

Ray正在人工智能工程领域崭露头角，对扩展LLM和RL至关重要

Spark在数据工程中几乎是必不可少的。Ray正在人工智能工程领域崭露头角。

雷是伦敦大学学院Spark的继任者。Spark和Ray有很多相似之处，例如用于计算的统一引擎。但Spark主要专注于大规模数据分析，而Ray则是为机器学习应用程序设计的。

在这里，我将介绍Ray，并介绍如何使用Ray扩展大型语言模型（LLM）和强化学习（RL），然后总结Ray的怀旧和趋势。

Ray简介

Ray是一个开源的统一计算框架，可以轻松扩展人工智能和Python的工作负载，从强化学习到深度学习，再到模型调整和服务。

下面是Ray的最新架构。它主要有三个组件：Ray Core、Ray AI Runtime和Storage and Tracking。

在过去的三周左右时间里，我一直在关注本地运行的大型语言模型（LLM）的疯狂开发速度，从llama.cpp开始，然后是alpaca，最近是（？！）gpt4all。

在那段时间里，我的笔记本电脑（2015年年中的Macbook Pro，16GB）在修理厂里呆了一个多星期，直到现在我才真正有了一个快速的游戏机会，尽管我10天前就知道我想尝试什么样的东西，而这在过去几天才真正成为可能。

根据这个要点，以下脚本可以作为Jupyter笔记本下载 this gist.

In the previous post, Running GPT4All On a Mac Using Python langchain in a Jupyter Notebook, 我发布了一个简单的演练，让GPT4All使用langchain在2015年年中的16GB Macbook Pro上本地运行。在这篇文章中，我将提供一个简单的食谱，展示我们如何运行一个查询，该查询通过从单个基于文档的已知源检索的上下文进行扩展。

I’ve updated the previously shared notebook here to include the following…

基于文档的知识源支持的示例查询

使用langchain文档中的示例进行示例文档查询。

探索清晰的语法如何使您能够将意图传达给语言模型，并帮助确保输出易于解析

这是与Marco Tulio Ribeiro共同撰写的关于如何使用指导来控制大型语言模型（LLM）的系列文章的第一部分。我们将从基础知识开始，逐步深入到更高级的主题。

在这篇文章中，我们将展示清楚的语法使您能够向LLM传达您的意图，并确保输出易于解析（如保证有效的JSON）。为了清晰和再现性，我们将从开源的StableLM模型开始，无需微调。然后，我们将展示相同的想法如何应用于像ChatGPT/GPT-4这样的微调模型。下面的所有代码都可以放在笔记本上，如果你愿意的话可以复制。

你好！作为一名初级前端开发人员，我一直在寻找新的工具和技术，这些工具和技术可以帮助我提高技能，让我的工作更轻松。最近，我遇到了ChatGPT，这是一个由OpenAI训练的大型语言模型，能够帮助完成各种任务，如错误检查、测试、文本完成和回答问题。

在这篇博客文章中，我想与您分享ChatGPT在前端开发中的一些创造性方法，以及它如何在您的工作中为您带来好处。

首先，让我们谈谈什么是ChatGPT以及它是如何工作的。ChatGPT是一个大型语言模型，它在大量文本数据上进行了训练，使其能够对各种输入产生类似人类的响应。它使用一种名为“转换器”的技术来处理输入文本并生成输出，这意味着它能够轻松处理长格式文本和复杂任务。

因此，事不宜迟，让我们深入探讨ChatGPT如何在前端开发中使用的一些示例！

文档：

ChatGPT可以帮助您为代码编写文档。例如，假设您编写了一个函数，用于计算二维空间中两点之间的距离。使用ChatGPT，您可以向它提供函数的详细信息（如输入参数和返回值），它将为您生成清晰简洁的文档：