跳转至

模型管理

模型管理用于对接供应商的大语言模型,支持对接主流的大模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等),支持的种类包括大语言模型、向量模型、重排模型、语音识别模型、语音合成模型等。

各供应商支持的类型详情见下表(按字母排序):

供应商 大语言模型 向量模型 重排模型 语音识别模型 语音合成模型
Azure OpenAI
Amazon Bedrock
DeepSeek
Gemini
OpenAI
Ollama
Xorbits Inference
vLLM
阿里云百炼
本地模型
火山引擎
腾讯混元
文心一言
月之暗面
讯飞星火
智谱

1 添加模型

登录 MaxKB 系统后,可以先对接模型,也可以在创建应用时再添加模型。添加模型时,可先点击【添加模型】,然后选择供应商,也可以左侧先选择供应商,然后点击【添加模型】。

1.1 添加千帆大模型

添加千帆大模型之前,需要先在 百度智能云千帆大模型平台 中进行注册并登录。在控制台中的【模型服务-应用接入】中创建应用后,将自动生成 API Key和Secret Key 等信息。

百度应用

选择模型供应商为千帆大模型,并在模型添加对话框中输入如下必要信息:

* 模型名称:MaxKB 中自定义的模型名称。   
* 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。    
* 模型类型:大语言模型。    
* 基础模型:百度千帆支持的 LLM 模型名称,选项中显示了百度千帆支持的部分常用大语言模型名称,支持手动输入,但需要与千帆大平台支持的模型名称保持一致,否则无法通过校验。    
* API Key 和 Secret Key:千帆大模型中应用的API Key 和 Secret Key。

千帆大模型

1.2 添加 Ollama 模型

说明: Ollama允许用户在本地计算机上运行和部署大型语言模型。在添加 Ollama 模型之前需要先自行安装部署 Ollama 并运行模型,详情见:Ollama 离线部署LLM模型

模型供应商为Ollama,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型/向量模型。
  • 基础模型:Ollama 支持的不同类型模型的基础模型名称,选项中显示了 Ollama 支持的部分常用基础模型名称,支持手动输入,但需要与 Ollama 支持的模型名称保持一致,否则无法通过校验。如果本地没有此模型,系统将自动下载。

大语言模型还需要输入 API 域名和API Key,向量模型需要输入API 域名。

  • API 域名:为 Ollama 服务地址连接信息,例如:http://42.92.198.53:11434
  • API Key:若没有配置API Key,可以输入任意字符。

点击【添加】,校验通过则添加成功,便可以在应用的 AI 模型列表选择该模型。

ollama 大语言模型 ollama 向量模型

1.3 添加 Azure OpenAI 模型

添加 Azure OpenAI 大模型之前,需要先在 Azure OpenAI Studio 中注册,并获取有关API 域名、API Key、部署名称等信息,参考下图:

Alt text

选择模型供应商为Azure OpenAI,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:Azure OpenAI 支持的 LLM 模型名称,选项中显示了 Azure OpenAI 支持的部分常用大语言模型名称,支持手动输入,但需要与 Azure OpenAI 支持的模型名称保持一致,否则无法通过校验。

Azure模型

1.4 添加 OpenAI 大模型

选择模型供应商为OpenAI,并在模型添加对话框中输入如下必要信息:

  • 模型名称: MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型: 大语言模型/向量模型/语音识别/语音合成。
  • 基础模型: OpenAI 支持的 LLM 模型名称,选项中显示了 OpenAI 支持的部分常用大语言模型名称,支持手动输入,但需要与 OpenAI 支持的模型名称保持一致,否则无法通过校验。
  • API 域名:国外 Open API的域名是https://api.openai.com/v1,国内代理的API域名格式一般是反向代理地址/v1
  • API Key:访问 OpenAI 的 Key。

OpenAI 模型

1.5 添加讯飞星火大模型

添加讯飞星火大模型之前,需要先在 讯飞开放平台 中进行注册,并根据不同的模型类型创建不同应用,平台将自动生成APPID、API Secret、APIKey等信息。

讯飞APP 讯飞APP 讯飞APP

选择模型供应商为讯飞星火,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型/语音识别/语音合成。
  • 基础模型:对应接口文档中的 domain,下拉选项是讯飞星火不同模型类型下的常用基础模型名称,支持自定义输入。
  • API 域名:每个基础模型对应的 API 域名不同,请根据所选基础模型输入对应的 API 域名,详情请参考讯飞开放平台文档中心,如下图所示。
  • APP ID:讯飞开放平台中创建应用的标识。
  • API Key:讯飞开放平台应用访问对应的 API Key。
  • API Secret:讯飞开放平台应用访问对应的的 API Secret。

讯飞星火认知大模型 API 讯飞语音识别大模型 API 讯飞语音合成大模型 API 讯飞模型

1.6 添加智谱AI大模型

添加讯智谱AI模型之前,需要先在 智谱AI开放平台 中进行注册并创建 API Key。

智普APIkey

选择模型供应商为智谱AI,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:智谱AI支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API Key:在智谱 AI 开放平台创建的 API Key。

智普模型

1.7 添加通义千问大模型

添加通义千问模型之前,需要先在阿里云 DashScope 模型服务灵积创建 API-Key。

通义千问 APIkey

选择模型供应商为通义千问,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:通义千问支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API Key:阿里云 DashScope灵积模型服务 API Key管理中创建和查看。

通义千问 模型

1.8 添加 Kimi 大模型

添加 kimi 模型之前,需要先在 Moonshot AI 开放平台 中注册并创建 API Key。

kimi APIkey

选择模型供应商为Kimi,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:Kimi 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API 域名:https://api.moonshot.cn/v1
  • API Key:在 Kimi 账户中心的 API Key 管理中创建和查看。

kimi 模型

1.9 添加 DeepSeek 大模型

添加 DeepSeek 大模型之前,需要先在 DeepSeek 开放平台 创建 API Key。

kimi 模型

选择模型供应商为DeepSeek,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:DeepSeek 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API Key:在 DeepSeek 开放平台创建并查看。

deepseek 模型

1.10 添加 Gemini 大模型

选择模型供应商为Gemini,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:Gemini 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API Key:获取 API Key。

注意: 使用 Gemini API 需要确保程序所在服务器位于 Gemini API 所支持的地区 ,否则无法调用API,并且无法进入Google AI Studio。

gemini 模型

1.11 添加 Xorbits Inference 大模型

选择模型供应商为Xorbits Inference,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型/向量模型/重排模型。
  • 基础模型:Xorbits-Inference 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。

大语言模型和重排模型需要输入 API 域名和API Key,向量模型需要输入API 域名。

  • API 域名:Xorbits Inference 服务地址,例如:http://192.168.20.242:9997
  • API Key:若没有 API Key,输入任意字符即可。

Xorbits Inference LLM模型 Xorbits Inference LLM模型 Xorbits Inference LLM模型

1.12 添加 vLLM 大模型

选择模型供应商为vLLM,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:vLLM 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • API 域名:vLLM 服务地址, 如:http://192.168.20.242:8000/v1
  • API Key:若没有 API Key,输入任意字符即可。

vLLM LLM模型

1.13 添加 Amazon Bedrock 大模型

选择模型供应商为Amazon Bedrock,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:Amazon Bedrock 支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • Region Name:模型开通的区域。
  • Access Key ID/Secret Access Key: Access Key ID 和 Secret Access Key 是用于对 AWS 服务(包括 Amazon Bedrock)的编程访问进行身份验证的凭证。

AWS LLM模型

1.14 添加腾讯混元大模型

添加腾讯混元大模型之前,需要先在腾讯云开通腾讯混元服务并新建秘钥。

tencent apikey

选择模型供应商为腾讯混元,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型。
  • 基础模型:腾讯混元支持的 LLM 模型名称,下拉选项是常用的一些大语言模型名称,支持自定义输入。
  • APPID:【腾讯云-控制台-访问管理-API密钥管理】中获取。
  • SecretId:【腾讯云-控制台-访问管理-API密钥管理】中获取。
  • SecretKey:【腾讯云-控制台-访问管理-API密钥管理】新建密钥时下载的SecretKey。

hunyuan LLM模型

1.15 添加豆包大模型

选择模型供应商为火山引擎,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:大语言模型/语音识别/语音合成。

豆包大语言模型其它接入参数说明:

doubao LLM模型 doubao LLM模型

语音识别和语音合成需要输入App ID、Access Token、Cluster ID。

  • App 域名:语音识别模型 API 域名为wss://openspeech.bytedance.com/api/v2/asr,语音合成模型 API 域名为wss://openspeech.bytedance.com/api/v1/tts/ws_binary
  • App ID:在火山引擎中创建的应用ID。
  • Access Token:在火山引擎应用对应的认证信息。
  • Cluster ID:在火山引擎应用对应的服务信息.

doubao_语音识别 doubao_语音合成

doubao 语音识别配置 doubao 语音合成配置

1.16 阿里云百炼大模型

选择模型供应商为阿里云百炼,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:重排模型。
  • 基础模型:阿里云百炼支持的重排模型模型名称,下拉选项是常用的一些重排模型名称,支持自定义输入。
  • API Key:阿里云百炼重排模型对应的 API Key。

阿里云百炼 APIKEY 阿里云百炼 重排模型配置

1.17 本地模型

前提条件: 将模型下载到服务器,并且挂在到 MaxKB 容器中,以向量模型为例详细说明如下。

(1)将向量模型下载到本地服务器。

# 推荐模型下载网址
https://huggingface.co/models?other=text-embedding
# 下载后存放在/opt/maxkb/model/local_embedding目录下
(2)使用-v 将宿主机模型路径挂载到 MaxKB 容器内部。
-v /opt/maxkb/model/local_embedding:/opt/maxkb/model/local_embedding
# 说明: v 模型所在目录:MaxKB容器内目录

在模型管理中,点击供应商【本地模型】,直接进入下一步填写本地模型的表单。

  • 模型名称:MaxKB 中自定义的模型名称。
  • 权限:分为私有和公用两种权限,私有模型仅当前用户可用,公用模型即系统内所有用户均可使用,但其它用户不能编辑和删除。
  • 模型类型:向量模型/重排模型。
  • 基础模型:模型在 MaxKB 容器下的绝对路径。
  • 模型目录:模型的目录(基础模型为名称时,该目录生效,基础模型若有绝对路径,则该参数不生效,建议与基础模型填写一致)。

本地向量模型 本地重排模型

2 编辑模型

点击模型右上角的编辑icon,打开编辑模型表单,可以对模型的属性进行修改。

编辑模型

3 删除模型

点击模型右上角的删除icon,即删除 MaxKB 与该模型的对接信息,但不会物理删除此模型。

删除模型