模型管理
模型管理用于对接供应商的大语言模型,支持对接主流的大模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等),支持的种类包括大语言模型、向量模型、重排模型、语音识别模型、语音合成模型等。
各供应商支持的类型详情见下表(按字母排序):
供应商 | 大语言模型 | 向量模型 | 重排模型 | 语音识别模型 | 语音合成模型 |
---|---|---|---|---|---|
Azure OpenAI | ✔ | ||||
Amazon Bedrock | ✔ | ||||
DeepSeek | ✔ | ||||
Gemini | ✔ | ||||
OpenAI | ✔ | ✔ | ✔ | ✔ | |
Ollama | ✔ | ✔ | |||
Xorbits Inference | ✔ | ✔ | ✔ | ||
vLLM | ✔ | ||||
阿里云百炼 | ✔ | ||||
本地模型 | ✔ | ✔ | |||
火山引擎 | ✔ | ✔ | ✔ | ||
腾讯混元 | ✔ | ||||
文心一言 | ✔ | ||||
月之暗面 | ✔ | ||||
讯飞星火 | ✔ | ✔ | ✔ | ||
智谱 | ✔ |
1 添加模型¶
登录 MaxKB 系统后,可以先对接模型,也可以在创建应用时再添加模型。添加模型时,可先点击【添加模型】,然后选择供应商,也可以左侧先选择供应商,然后点击【添加模型】。
1.1 添加千帆大模型¶
添加千帆大模型之前,需要先在 百度智能云千帆大模型平台 中进行注册并登录。在控制台中的【模型服务-应用接入】中创建应用后,将自动生成 API Key和Secret Key 等信息。
选择模型供应商为千帆大模型
,并在模型添加对话框中输入如下必要信息:
* 模型名称:MaxKB 中自定义的模型名称。
* 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
* 模型类型:大语言模型。
* 基础模型:百度千帆支持的 LLM 模型名称,选项中显示了百度千帆支持的部分常用大语言模型名称,支持手动输入,但需要与千帆大平台支持的模型名称保持一致,否则无法通过校验。
* API Key 和 Secret Key:千帆大模型中应用的API Key 和 Secret Key。
1.2 添加 Ollama 模型¶
说明: Ollama允许用户在本地计算机上运行和部署大型语言模型。在添加 Ollama 模型之前需要先自行安装部署 Ollama 并运行模型,详情见:Ollama 离线部署LLM模型。
模型供应商为Ollama
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型/向量模型。
- 基础模型:Ollama 支持的不同类型模型的基础模型名称,选项中显示了 Ollama 支持的部分常用基础模型名称,支持手动输入,但需要与 Ollama 支持的模型名称保持一致,否则无法通过校验。如果本地没有此模型,系统将自动下载。
大语言模型还需要输入 API 域名和API Key,向量模型需要输入API 域名。
- API 域名:为 Ollama 服务地址连接信息,例如:http://42.92.198.53:11434 。
- API Key:若没有配置API Key,可以输入任意字符。
点击【添加】,校验通过则添加成功,便可以在应用的 AI 模型列表选择该模型。
1.3 添加 Azure OpenAI 模型¶
添加 Azure OpenAI 大模型之前,需要先在 Azure OpenAI Studio 中注册,并获取有关API 域名、API Key、部署名称等信息,参考下图:
选择模型供应商为Azure OpenAI
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:Azure OpenAI 支持的 LLM 模型名称,选项中显示了 Azure OpenAI 支持的部分常用大语言模型名称,支持手动输入,但需要与 Azure OpenAI 支持的模型名称保持一致,否则无法通过校验。
1.4 添加 OpenAI 大模型¶
选择模型供应商为OpenAI
,并在模型添加对话框中输入如下必要信息:
- 模型名称: MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型: 大语言模型/向量模型/语音识别/语音合成。
- 基础模型: OpenAI 支持的 LLM 模型名称,选项中显示了 OpenAI 支持的部分常用大语言模型名称,支持手动输入,但需要与 OpenAI 支持的模型名称保持一致,否则无法通过校验。
- API 域名:国外 Open API的域名是
https://api.openai.com/v1
,国内代理的API域名格式一般是反向代理地址/v1
。 - API Key:访问 OpenAI 的 Key。
1.5 添加讯飞星火大模型¶
添加讯飞星火大模型之前,需要先在 讯飞开放平台 中进行注册,并根据不同的模型类型创建不同应用,平台将自动生成APPID、API Secret、APIKey等信息。
选择模型供应商为讯飞星火
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型/语音识别/语音合成。
- 基础模型:对应接口文档中的 domain,下拉选项是讯飞星火不同模型类型下的常用基础模型名称,支持自定义输入。
- API 域名:每个基础模型对应的 API 域名不同,请根据所选基础模型输入对应的 API 域名,详情请参考讯飞开放平台文档中心,如下图所示。
- APP ID:讯飞开放平台中创建应用的标识。
- API Key:讯飞开放平台应用访问对应的 API Key。
- API Secret:讯飞开放平台应用访问对应的的 API Secret。
1.6 添加智谱AI大模型¶
添加讯智谱AI模型之前,需要先在 智谱AI开放平台 中进行注册并创建 API Key。
选择模型供应商为智谱AI
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:智谱AI支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API Key:在智谱 AI 开放平台创建的 API Key。
1.7 添加通义千问大模型¶
添加通义千问模型之前,需要先在阿里云 DashScope 模型服务灵积创建 API-Key。
选择模型供应商为通义千问
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:通义千问支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API Key:阿里云 DashScope灵积模型服务 API Key管理中创建和查看。
1.8 添加 Kimi 大模型¶
添加 kimi 模型之前,需要先在 Moonshot AI 开放平台 中注册并创建 API Key。
选择模型供应商为Kimi
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:Kimi 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API 域名:https://api.moonshot.cn/v1
- API Key:在 Kimi 账户中心的 API Key 管理中创建和查看。
1.9 添加 DeepSeek 大模型¶
添加 DeepSeek 大模型之前,需要先在 DeepSeek 开放平台 创建 API Key。
选择模型供应商为DeepSeek
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:DeepSeek 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API Key:在 DeepSeek 开放平台创建并查看。
1.10 添加 Gemini 大模型¶
选择模型供应商为Gemini
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:Gemini 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API Key:获取 API Key。
注意: 使用 Gemini API 需要确保程序所在服务器位于 Gemini API 所支持的地区 ,否则无法调用API,并且无法进入Google AI Studio。
1.11 添加 Xorbits Inference 大模型¶
选择模型供应商为Xorbits Inference
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型/向量模型/重排模型。
- 基础模型:Xorbits-Inference 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
大语言模型和重排模型需要输入 API 域名和API Key,向量模型需要输入API 域名。
- API 域名:Xorbits Inference 服务地址,例如:http://192.168.20.242:9997 。
- API Key:若没有 API Key,输入任意字符即可。
1.12 添加 vLLM 大模型¶
选择模型供应商为vLLM
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:vLLM 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- API 域名:vLLM 服务地址, 如:http://192.168.20.242:8000/v1 。
- API Key:若没有 API Key,输入任意字符即可。
1.13 添加 Amazon Bedrock 大模型¶
选择模型供应商为Amazon Bedrock
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:Amazon Bedrock 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- Region Name:模型开通的区域。
- Access Key ID/Secret Access Key: Access Key ID 和 Secret Access Key 是用于对 AWS 服务(包括 Amazon Bedrock)的编程访问进行身份验证的凭证。
1.14 添加腾讯混元大模型¶
添加腾讯混元大模型之前,需要先在腾讯云开通腾讯混元服务并新建秘钥。
选择模型供应商为腾讯混元
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型。
- 基础模型:腾讯混元支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
- APPID:【腾讯云-控制台-访问管理-API密钥管理】中获取。
- SecretId:【腾讯云-控制台-访问管理-API密钥管理】中获取。
- SecretKey:【腾讯云-控制台-访问管理-API密钥管理】新建密钥时下载的SecretKey。
1.15 添加豆包大模型¶
选择模型供应商为火山引擎
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:大语言模型/语音识别/语音合成。
豆包大语言模型其它接入参数说明:
- 基础模型:在线推理的接入点ID。
- API 域名:https://ark.cn-beijing.volces.com/api/v3
- API Key:接入点-> API调用 -> 通过API Key授权 -> 选择 API Key 复制获取,如下图
语音识别和语音合成需要输入App ID、Access Token、Cluster ID。
- App 域名:语音识别模型 API 域名为
wss://openspeech.bytedance.com/api/v2/asr
,语音合成模型 API 域名为wss://openspeech.bytedance.com/api/v1/tts/ws_binary
- App ID:在火山引擎中创建的应用ID。
- Access Token:在火山引擎应用对应的认证信息。
- Cluster ID:在火山引擎应用对应的服务信息.
1.16 阿里云百炼大模型¶
选择模型供应商为阿里云百炼
,并在模型添加对话框中输入如下必要信息:
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:重排模型。
- 基础模型:阿里云百炼支持的重排模型模型名称,下拉选项是常用的一些重排模型名称,支持自定义输入。
- API Key:阿里云百炼重排模型对应的 API Key。
1.17 本地模型¶
前提条件: 将模型下载到服务器,并且挂在到 MaxKB 容器中,以向量模型为例详细说明如下。
(1)将向量模型下载到本地服务器。
# 推荐模型下载网址
https://huggingface.co/models?other=text-embedding
# 下载后存放在/opt/maxkb/model/local_embedding目录下
-v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding
# 说明: v 模型所在目录:MaxKB容器内目录
在模型管理中,点击供应商【本地模型】,直接进入下一步填写本地模型的表单。
- 模型名称:MaxKB 中自定义的模型名称。
- 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
- 模型类型:向量模型/重排模型。
- 基础模型:模型在 MaxKB 容器下的绝对路径。
- 模型目录:模型的目录(基础模型为名称时,该目录生效,基础模型若有绝对路径,则该参数不生效,建议与基础模型填写一致)。
2 编辑模型¶
点击模型右上角的编辑icon,打开编辑模型表单,可以对模型的属性进行修改。
3 删除模型¶
点击模型右上角的删除icon,即删除 MaxKB 与该模型的对接信息,但不会物理删除此模型。