category
目前市场上有许多人工智能玩家,包括ChatGPT、Google Bard、Bing人工智能聊天等等。然而,所有这些都需要你有互联网连接才能与人工智能交互。如果你想在电脑上安装类似的大型语言模型(LLM)并在本地使用它怎么办?一个人工智能聊天机器人,你可以在没有互联网连接的情况下私下使用。好吧,通过斯坦福大学发布的新羊驼模型,你可以接近这个现实。是的,你可以离线在你的电脑上运行类似ChatGPT的语言模型。因此,请注意,让我们继续学习如何在没有互联网的情况下在本地使用LLM。
在没有互联网的情况下本地运行类似于LLM的ChatGPT(私有且安全)
在这篇文章中,我提到了如何在没有互联网的情况下在本地PC上运行类似ChatGPT的LLM的所有内容。您可以展开下表,详细了解步骤。
目录
- 什么是Alpaca和LLaMA?
- 运行Alpaca需要什么样的硬件?
- 设置运行Alpaca和LLaMA的软件环境
- Windows
- 苹果macOS
- Linux和ChromeOS
- 在您的计算机上安装Alpaca和LLaMA型号
什么是Alpaca和LLaMA?
Alpaca是一个小型人工智能语言模型,由斯坦福大学的一群计算机科学家开发。Alpaca的独特之处在于它体积小,性价比高。Alpaca只有70亿个参数,与OpenAI的text-davinci-003模型一样好。您可以在本地计算机上运行它,而无需连接互联网。这很酷,对吧?
但它是如何训练的呢?令人惊讶的是,Alpaca对最近在网上泄露的Meta的大型语言模型LLaMa进行了微调。为了训练这种语言模型,科学家们使用OpenAI的“text-davinci-003”模型生成了52K高质量的自我指导数据。有了这个数据集,他们使用HuggingFace的训练框架对LLaMA模型进行了微调,并发布了Alpaca 7B。你也可以使用Meta的LLaMA模型,但在我的测试中,斯坦福大学的Alpaca LLM表现要好得多,而且速度也很快。
运行Alpaca需要什么样的硬件?
您可以在任何像样的机器上使用Alpaca 7B。我在入门级电脑上安装了Alpaca 7B,它运行得很好。为了给你一些想法,我的电脑由第10代英特尔i3处理器供电,该处理器具有256GB SSD和8GB RAM。对于GPU,我使用的是Nvidia的入门级GeForce GT 730 GPU,带有2GB的VRAM。
即使没有专用GPU,您也可以在本地运行Alpaca。然而,响应时间会很慢。除此之外,有些用户甚至可以在树莓派4这样的小型计算机上运行Alpaca。因此,您可以推断出Alpaca语言模型也可以很好地在入门级计算机上运行。
设置运行Alpaca和LLaMA的软件环境
Windows
在Windows上,您需要安装Python、Node.js和C++,才能开始在计算机上离线使用大型语言模型。下面是如何进行的。
1.首先,从这里下载Python 3.10(或更低版本)。向下滚动并单击“Windows安装程序(64位)”下载安装文件。
2.启动安装文件并启用“将Python.exe添加到PATH”旁边的复选框。现在,使用所有默认设置安装Python。
3.之后,从这里安装Node.js版本18.0(或更高版本)。安装程序时保持所有默认设置。
4.最后,从该链接免费下载Visual Studio“社区”版。
5.启动Visual Studio 2022安装文件,它将首先下载一些文件。之后,将启动一个新窗口。在这里,请确保“使用C++进行桌面开发”已启用。
6.最后,单击“安装”,等待安装完成。
7.我建议您在安装完所有软件后重新启动计算机。接下来,打开“命令提示符”并运行以下命令,检查Python和Node.js是否安装成功。两者都应返回版本号。你现在可以走了。
python --version node --version
在您的计算机上安装Alpaca和LLaMA型号
一旦您设置了Python和Node.js,就可以在PC上安装并运行类似ChatGPT的LLM了。在继续操作之前,请确保终端检测到Python和Node命令。
1.打开终端(在我的情况下是命令提示符),运行以下命令来安装Alpaca 7B LLM型号(大约需要4.2GB的磁盘空间)。如果要安装Alpaca 13B型号,请将7B更换为13B。较大的型号需要8.1GB的空间。
npx达莱羊驼安装7B
2.现在,键入“y”并按Enter键。这将开始安装Alpaca 7B型号。整个过程需要20到30分钟,具体取决于您的互联网连接和型号。
3.安装完成后,您将看到这样的屏幕。
4.您也可以选择安装LLaMA型号,或者进入下一步立即测试Alpaca型号。请记住,LLaMA的尺寸要大得多。它的7B型号占用了高达31GB的空间。要安装它,请运行以下命令。您可以将7B替换为13B、30B和65B。最大的型号占用了432GB的空间。
npx dalai llama install 7B
5.最后,运行下面的命令,它将立即启动Web服务器。
npx dalai serve
6.使用电脑上的网络浏览器,打开以下地址。这将带您进入web UI,在那里您可以在本地测试Alpaca和LLaMA模型,而无需互联网。
http://localhost:3000
7.在这里,您需要从右上角的“型号”下拉菜单中选择“Alpaca 7B”或“LLaMA 7B”型号。由于我只安装了Alpaca 7B型号,这是我的默认配置。
8.您现在可以在没有互联网连接的情况下在PC上开始使用这种类似ChatGPT的语言模型。将“PROMPT”替换为您的查询,然后单击“Go”。
9.以下是在我的Windows PC上运行本地Alpaca LLM服务器时的资源使用情况。
10.如果您想删除下载的型号以释放磁盘空间,请打开您的用户配置文件目录。在这里,“dalai”文件夹包含所有文件,包括模型。删除“dalai”文件夹将立即释放空间。
私下和完全离线使用类似ChatGPT的服务
因此,这就是您如何在本地PC上运行类似ChatGPT的LLM并获得不错结果的方法。随着时间的推移,新的高效LLM型号将在未来推出,可以在智能手机上运行,也可以在Raspberry Pi等小型平板电脑上运行。无论如何,这都是我们的。如果你想免费使用ChatGPT 4,请访问我们的链接文章,获取一些令人惊叹的资源。如果您想根据自己的文档训练人工智能聊天机器人,我们为您准备了深入的指南。最后,如果您面临任何问题,请在下面的评论部分告诉我们。
- 登录 发表评论