使用Cohere的 Command R自托管RAG应用程序
developer.chat
18 May 2024
Cohere的Command R在检索增强生成(RAG)和工具使用任务方面拥有高精度。它提供低延迟和高吞吐量,具有长的128k令牌上下文长度。此外,它还展示了10种关键语言的强大多语能力。
在这个工作室里,我们正在构建一个完全自主托管的“与您的文档聊天”RAG应用程序,使用:
- -Cohere的“R”在当地使用Ollama服务。
- -Qdrant矢量数据库(自托管)
- -用于生成嵌入的Fastembed
下面是我们正在构建的内容的快速演示:
https://youtu.be/aLLw3iCPhtM