[MaxKB+Ollama+Llama 3]最低成本构建AI私有知识库,在线客服、内部知识教学解答等方案

完全使用本地资源,部署一个最低费用的AI知识库,可用于 智能客户、内部知识教学解答。(一下演示为win下docker、win10/win11方案)
Llama3模型好不好可以看新闻和测评:全球最强开源大模型Llama 3重磅发布:深度解析与展望 – 知乎 (zhihu.com)

第一部分 MaxKB安装

MaxKB详细可以查看官网:MaxKB 产品介绍 – MaxKB – 社区论坛 – FIT2CLOUD 飞致云 也强烈推荐他们家的1pannel面板

MaxKB 简介:MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base,旨在成为企业的最强大脑。MaxKB基于 LLM 大语言模型的知识库问答系统,开箱即用,支持快速嵌入到第三方业务系统。

github地址:GitHub – 1Panel-dev/MaxKB: 💬 基于 LLM 大语言模型的知识库问答系统。开箱即用,支持快速嵌入到第三方业务系统,1Panel 官方出品。

1.1docker安装

1.2 MaxKB 安装

docker 安装MaxKB 命令:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
# 初始密码
# 用户名: admin
# 密码: MaxKB@123..

1.3 登陆MaxKB 并设置

登陆MaxKB后可以创建知识库,知识库支持文档和网页链接。创建问答应用并关联对应的知识库。设置大语言模型。(云服务器记得开放端口)

[MaxKB+Ollama+Llama 3]最低成本构建AI私有知识库,在线客服、内部知识教学解答等方案

第二部分 安装大语言模型

上一个部分中我们构建了知识库,现在需要一个大语言模型来学习这些知识,并理解我们的提问。

2.1 Ollama的安装

Ollama是一个让我们可以一键运行大模型的软件。 下载地址:https://ollama.com/

安装完成后,在cmd命令行中输入 
ollama -v
显示对应版本,证明安装正确并正在运行

2.2 下载大语言模型

首先在ollama的模型库里面选择自己想要的模型,ollama model地址:https://ollama.com/library
在cmd命令行中,运行对应的下载命令,例如我下载 llama3

ollama run llama3

第三部分 将MaxKB与大语言模型对接

在MaxKB网站中,系统设置⇒模型设置⇒Ollama⇒添加模型

注意!

“基础模型” 填写内容必须和下载模型名称一致

“API域名” 127.0.0.1:11434 若MaxKB使用docker部署应填写 http://host.docker.internal:11434

“API KEY” 随意填写

温馨提示:

1.本站大部分内容均收集于网络!若内容若侵犯到您的权益,请发送邮件至:aiocode@outlook.com,我们将第一时间处理!

2.资源所需价格并非资源售卖价格,是收集、整理、编辑详情以及本站运营的适当补贴,并且本站不提供任何免费技术支持。

3.所有资源仅限于参考和学习,版权归原作者所有,更多请阅读网站声明

给TA打赏
共{{data.count}}人
人已打赏
AIDocker开源项目

自建平台即可搞定:ChatGPT、Claude、Google Gemini、Mistral、LLaMA2等主流AI大模型的无缝切换使用!

2024-4-23 14:28:43

Docker开源项目

匿名口令分享文件!搭建文件快递柜—像拿快递一样取文件

2024-5-3 22:35:22

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索