跳转到主要内容

标签(标签)

资源精选(342) Go开发(108) Go语言(103) Go(99) angular(82) LLM(75) 大语言模型(63) 人工智能(53) 前端开发(50) LangChain(43) golang(43) 机器学习(39) Go工程师(38) Go程序员(38) Go开发者(36) React(33) Go基础(29) Python(24) Vue(22) Web开发(20) Web技术(19) 精选资源(19) 深度学习(19) Java(18) ChatGTP(17) Cookie(16) android(16) 前端框架(13) JavaScript(13) Next.js(12) 安卓(11) 聊天机器人(10) typescript(10) 资料精选(10) NLP(10) 第三方Cookie(9) Redwoodjs(9) LLMOps(9) Go语言中级开发(9) 自然语言处理(9) PostgreSQL(9) 区块链(9) mlops(9) 安全(9) 全栈开发(8) ChatGPT(8) OpenAI(8) Linux(8) AI(8) GraphQL(8) iOS(8) 软件架构(7) Go语言高级开发(7) AWS(7) C++(7) 数据科学(7) whisper(6) Prisma(6) 隐私保护(6) RAG(6) JSON(6) DevOps(6) 数据可视化(6) wasm(6) 计算机视觉(6) 算法(6) Rust(6) 微服务(6) 隐私沙盒(5) FedCM(5) 语音识别(5) Angular开发(5) 快速应用开发(5) 提示工程(5) Agent(5) LLaMA(5) 低代码开发(5) Go测试(5) gorm(5) REST API(5) 推荐系统(5) WebAssembly(5) GameDev(5) CMS(5) CSS(5) machine-learning(5) 机器人(5) 游戏开发(5) Blockchain(5) Web安全(5) Kotlin(5) 低代码平台(5) 机器学习资源(5) Go资源(5) Nodejs(5) PHP(5) Swift(5) 智能体(4) devin(4) Blitz(4) javascript框架(4) Redwood(4) GDPR(4) 生成式人工智能(4) Angular16(4) Alpaca(4) 编程语言(4) SAML(4) JWT(4) JSON处理(4) Go并发(4) kafka(4) 移动开发(4) 移动应用(4) security(4) 隐私(4) spring-boot(4) 物联网(4) nextjs(4) 网络安全(4) API(4) Ruby(4) 信息安全(4) flutter(4) 专家智能体(3) Chrome(3) CHIPS(3) 3PC(3) SSE(3) 人工智能软件工程师(3) LLM Agent(3) Remix(3) Ubuntu(3) GPT4All(3) 软件开发(3) 问答系统(3) 开发工具(3) 最佳实践(3) RxJS(3) SSR(3) Node.js(3) Dolly(3) 移动应用开发(3) 低代码(3) IAM(3) Web框架(3) CORS(3) 基准测试(3) Go语言数据库开发(3) Oauth2(3) 并发(3) 主题(3) Theme(3) earth(3) nginx(3) 软件工程(3) azure(3) keycloak(3) 生产力工具(3) gpt3(3) 工作流(3) C(3) jupyter(3) 认证(3) prometheus(3) GAN(3) Spring(3) 逆向工程(3) 应用安全(3) Docker(3) Django(3) R(3) .NET(3) 大数据(3) Hacking(3) 渗透测试(3) C++资源(3) Mac(3) 微信小程序(3) Python资源(3) JHipster(3) 大型语言模型(2) 语言模型(2) 可穿戴设备(2) JDK(2) SQL(2) Apache(2) Hashicorp Vault(2) Spring Cloud Vault(2) Go语言Web开发(2) Go测试工程师(2) WebSocket(2) 容器化(2) AES(2) 加密(2) 输入验证(2) ORM(2) Fiber(2) Postgres(2) Gorilla Mux(2) Go数据库开发(2) 模块(2) 泛型(2) 指针(2) HTTP(2) PostgreSQL开发(2) Vault(2) K8s(2) Spring boot(2) R语言(2) 深度学习资源(2) 半监督学习(2) semi-supervised-learning(2) architecture(2) 普罗米修斯(2) 嵌入模型(2) productivity(2) 编码(2) Qt(2) 前端(2) Rust语言(2) NeRF(2) 神经辐射场(2) 元宇宙(2) CPP(2) 数据分析(2) spark(2) 流处理(2) Ionic(2) 人体姿势估计(2) human-pose-estimation(2) 视频处理(2) deep-learning(2) kotlin语言(2) kotlin开发(2) burp(2) Chatbot(2) npm(2) quantum(2) OCR(2) 游戏(2) game(2) 内容管理系统(2) MySQL(2) python-books(2) pentest(2) opengl(2) IDE(2) 漏洞赏金(2) Web(2) 知识图谱(2) PyTorch(2) 数据库(2) reverse-engineering(2) 数据工程(2) swift开发(2) rest(2) robotics(2) ios-animation(2) 知识蒸馏(2) 安卓开发(2) nestjs(2) solidity(2) 爬虫(2) 面试(2) 容器(2) C++精选(2) 人工智能资源(2) Machine Learning(2) 备忘单(2) 编程书籍(2) angular资源(2) 速查表(2) cheatsheets(2) SecOps(2) mlops资源(2) R资源(2) DDD(2) 架构设计模式(2) 量化(2) Hacking资源(2) 强化学习(2) flask(2) 设计(2) 性能(2) Sysadmin(2) 系统管理员(2) Java资源(2) 机器学习精选(2) android资源(2) android-UI(2) Mac资源(2) iOS资源(2) Vue资源(2) flutter资源(2) JavaScript精选(2) JavaScript资源(2) Rust开发(2) deeplearning(2) RAD(2)

category

目前市场上有许多人工智能玩家,包括ChatGPT、Google Bard、Bing人工智能聊天等等。然而,所有这些都需要你有互联网连接才能与人工智能交互。如果你想在电脑上安装类似的大型语言模型(LLM)并在本地使用它怎么办?一个人工智能聊天机器人,你可以在没有互联网连接的情况下私下使用。好吧,通过斯坦福大学发布的新羊驼模型,你可以接近这个现实。是的,你可以离线在你的电脑上运行类似ChatGPT的语言模型。因此,请注意,让我们继续学习如何在没有互联网的情况下在本地使用LLM。

在没有互联网的情况下本地运行类似于LLM的ChatGPT(私有且安全)

在这篇文章中,我提到了如何在没有互联网的情况下在本地PC上运行类似ChatGPT的LLM的所有内容。您可以展开下表,详细了解步骤。

目录

  1. 什么是Alpaca和LLaMA?
  2. 运行Alpaca需要什么样的硬件?
  3. 设置运行Alpaca和LLaMA的软件环境
    1. Windows
    2. 苹果macOS
    3. Linux和ChromeOS
  4. 在您的计算机上安装Alpaca和LLaMA型号

什么是Alpaca和LLaMA?

Alpaca是一个小型人工智能语言模型,由斯坦福大学的一群计算机科学家开发。Alpaca的独特之处在于它体积小,性价比高。Alpaca只有70亿个参数,与OpenAI的text-davinci-003模型一样好。您可以在本地计算机上运行它,而无需连接互联网。这很酷,对吧?

What is Alpaca and LLaMA?

但它是如何训练的呢?令人惊讶的是,Alpaca对最近在网上泄露的Meta的大型语言模型LLaMa进行了微调。为了训练这种语言模型,科学家们使用OpenAI的“text-davinci-003”模型生成了52K高质量的自我指导数据。有了这个数据集,他们使用HuggingFace的训练框架对LLaMA模型进行了微调,并发布了Alpaca 7B。你也可以使用Meta的LLaMA模型,但在我的测试中,斯坦福大学的Alpaca LLM表现要好得多,而且速度也很快。

运行Alpaca需要什么样的硬件?

您可以在任何像样的机器上使用Alpaca 7B。我在入门级电脑上安装了Alpaca 7B,它运行得很好。为了给你一些想法,我的电脑由第10代英特尔i3处理器供电,该处理器具有256GB SSD和8GB RAM。对于GPU,我使用的是Nvidia的入门级GeForce GT 730 GPU,带有2GB的VRAM。

即使没有专用GPU,您也可以在本地运行Alpaca。然而,响应时间会很慢。除此之外,有些用户甚至可以在树莓派4这样的小型计算机上运行Alpaca。因此,您可以推断出Alpaca语言模型也可以很好地在入门级计算机上运行。

设置运行Alpaca和LLaMA的软件环境

Windows

在Windows上,您需要安装Python、Node.js和C++,才能开始在计算机上离线使用大型语言模型。下面是如何进行的。

1.首先,从这里下载Python 3.10(或更低版本)。向下滚动并单击“Windows安装程序(64位)”下载安装文件。Set Up the Software Environment to Run Alpaca and LLaMA

2.启动安装文件并启用“将Python.exe添加到PATH”旁边的复选框。现在,使用所有默认设置安装Python。

How to Run a ChatGPT-Like LLM on Your PC Offline

3.之后,从这里安装Node.js版本18.0(或更高版本)。安装程序时保持所有默认设置。

Set Up the Software Environment to Run Alpaca and LLaMA

4.最后,从该链接免费下载Visual Studio“社区”版。

Set Up the Software Environment to Run Alpaca and LLaMA

5.启动Visual Studio 2022安装文件,它将首先下载一些文件。之后,将启动一个新窗口。在这里,请确保“使用C++进行桌面开发”已启用。

Set Up the Software Environment to Run Alpaca and LLaMA

6.最后,单击“安装”,等待安装完成。

Set Up the Software Environment to Run Alpaca and LLaMA

7.我建议您在安装完所有软件后重新启动计算机。接下来,打开“命令提示符”并运行以下命令,检查Python和Node.js是否安装成功。两者都应返回版本号。你现在可以走了。

python --version
node --version

Set Up the Software Environment to Run Alpaca and LLaMA

在您的计算机上安装Alpaca和LLaMA型号

一旦您设置了Python和Node.js,就可以在PC上安装并运行类似ChatGPT的LLM了。在继续操作之前,请确保终端检测到Python和Node命令。

1.打开终端(在我的情况下是命令提示符),运行以下命令来安装Alpaca 7B LLM型号(大约需要4.2GB的磁盘空间)。如果要安装Alpaca 13B型号,请将7B更换为13B。较大的型号需要8.1GB的空间。

npx达莱羊驼安装7BHow to Run a ChatGPT-Like LLM on Your PC Offline

2.现在,键入“y”并按Enter键。这将开始安装Alpaca 7B型号。整个过程需要20到30分钟,具体取决于您的互联网连接和型号。

Install Alpaca and LLaMA Models On Your Computer

3.安装完成后,您将看到这样的屏幕。

Run a ChatGPT-Like LLM on Your PC

4.您也可以选择安装LLaMA型号,或者进入下一步立即测试Alpaca型号。请记住,LLaMA的尺寸要大得多。它的7B型号占用了高达31GB的空间。要安装它,请运行以下命令。您可以将7B替换为13B、30B和65B。最大的型号占用了432GB的空间。

npx dalai llama install 7B

Run a ChatGPT-Like LLM on Your PC

5.最后,运行下面的命令,它将立即启动Web服务器。

npx dalai serve

Run a ChatGPT-Like LLM on Your PC

6.使用电脑上的网络浏览器,打开以下地址。这将带您进入web UI,在那里您可以在本地测试Alpaca和LLaMA模型,而无需互联网。

http://localhost:3000

Run a ChatGPT-Like LLM on Your PC

7.在这里,您需要从右上角的“型号”下拉菜单中选择“Alpaca 7B”或“LLaMA 7B”型号。由于我只安装了Alpaca 7B型号,这是我的默认配置。

How to Run a ChatGPT-Like LLM on Your PC Offline

8.您现在可以在没有互联网连接的情况下在PC上开始使用这种类似ChatGPT的语言模型。将“PROMPT”替换为您的查询,然后单击“Go”。

9.以下是在我的Windows PC上运行本地Alpaca LLM服务器时的资源使用情况。

Run a ChatGPT-Like LLM on Your PC

10.如果您想删除下载的型号以释放磁盘空间,请打开您的用户配置文件目录。在这里,“dalai”文件夹包含所有文件,包括模型。删除“dalai”文件夹将立即释放空间。

How to Run a ChatGPT-Like LLM on Your PC Offline

私下和完全离线使用类似ChatGPT的服务

因此,这就是您如何在本地PC上运行类似ChatGPT的LLM并获得不错结果的方法。随着时间的推移,新的高效LLM型号将在未来推出,可以在智能手机上运行,也可以在Raspberry Pi等小型平板电脑上运行。无论如何,这都是我们的。如果你想免费使用ChatGPT 4,请访问我们的链接文章,获取一些令人惊叹的资源。如果您想根据自己的文档训练人工智能聊天机器人,我们为您准备了深入的指南。最后,如果您面临任何问题,请在下面的评论部分告诉我们。

文章链接