跳转至

应用

应用是指基于 LLM 大语言模型构建的实际场景应用,分为简易配置和高级编排两种类型,并支持全屏模式和浮窗模式嵌入到第三方产品,可以根据需求为不同产品创建所需的应用。
友情提示:社区版限制5 个应用。

Alt text

1 创建简易配置应用

点击【创建应用】,输入应用名称以及应用描述,选择【简易配置】,点击【创建】

选择应用类型

进入简易配置应用设置页面,左侧为应用信息,右侧为调试预览界面。

  • 应用名称:用户提问时对话框的标题和名字。
  • 应用描述:对应用场景及用途的描述。
  • AI模型:在【系统设置】-【模型管理】中添加的大语言模型。
  • 提示词:系统默认有智能知识库的提示词,用户可以自定义通过调整提示词内容,可以引导大模型聊天方向,该提示词会被固定在上下文的开头。可以使用变量:{data} 是引用知识库中已知信息;{question}是用户提出的问题。
  • 多轮对话:开启时当用户提问携带用户在当前会话中最后 3 个问题;不开启则仅向大模型提交当前问题题。
  • 关联知识库:用户提问会在关联的知识库中检索分段,引用分段生成提示词发送给大模型进行询问。若未关联知识库或未匹配到分段内容,则直接将用户问题发送给大模型进行询问。
  • 参数设置:设置知识库的相似度,引用分段数量和最大引用字符数。
  • 开场白:用户打开对话时,系统弹出的问候语。支持 Markdown 格式;[-]后的内容为快捷问题,一行一个。
  • 问题优化:对用户提出的问题先进行一次 LLM 优化处理,将优化后的问题在知识库中进行向量化检索,开启后能提高检索知识库的准确度,但由于多一次询问大模型会增加回答问题的时长。

应用信息设置完成后,可以在右侧调试预览中进行提问预览,调试预览中提问内容不计入对话日志。需要点击保存并发布才可生效。

应用设置

2 创建高级编排应用

点击【创建应用】,输入应用名称,选择【高级编排】,点击【创建】

选择应用类型

进入工作流编排页面,新创建的高级编排应用会默认生成简易配置原有的工作流,用可以根据自己的需求进行自定义编排,点击发布后才会生效。
画布上的节点必须在工作流程中,不能有流程外单独的节点,否则会校验失败。
每个节点可以根据节点的用途进行重命名,双击节点名称即可重命名,注意同一个应用中节点名称不能重复。
连线的后置节点可以引用前置节点的输出参数,如果节点名称变更,需要重新复制变量,参数引用方式是{{节点名称.变量名称}}

默认画布

2.1 添加组件

点击右上角的【添加组件】,可以点击或拖拽节点到画布进行工作流编排。以下是每个节点的用途说明:

  • 基本信息:应用的基本信息设置节点,如应用名称、描述、开场白等设置,每个应用只有一个基本信息节点,不能删除和复制。
  • 开始节点:工作流程的开始,每个应用只能有一个开始节点,不能删除和复制。
  • AI对话:与AI大模型进行对话的节点,可以有多个,支持复制、删除。
  • 知识库检索:关联知识库,检索与问题相关分段的节点,可以有多个,支持复制、删除。
  • 问题优化:AI对话的一种,设定了默认的角色和场景,可以自行修改。
  • 判断器:根据不同条件执行不同的节点。
  • 指定回复:支持指定输出内容的节点。

编排画布

2.1.1 开始

节点说明:工作流的开始节点,不能删除和复制,问答页面输入的问题会作为该节点的输出参数{question},后续节点如需引用可以复制输出参数或选择变量:开始节点->用户问题。

开始节点

2.1.2 知识库检索节点

节点说明:如果应用需要关联知识库,则需要在编排中添加知识库检索节点,选择知识库、设置检索参数、选择检索的问题。

知识库检索

知识库检索节点输出参数说明:

  • 检索结果的分段列表 {paragraph_list}:数组类型,指根据检索问题、检索参数进行检索后命中的分段列表,包含了分段的所有属性;
  • 满足直接回答的分段列表 {is_hit_handling_method_list}:数组类型,指根据检索问题、检索参数进行检索后命中的分段中满足直接回答的所有分段列表,包含了分段的所有属性;
  • 检索结果 {data}:字符串类型,指根据检索问题、检索参数进行检索后命中的分段内容;
  • 满足直接回答的分段内容 {directly_return}:字符串类型,指根据检索问题、检索参数进行检索后命中的分段中满足直接回答的所有分段内容。

2.1.3 AI 对话节点

节点说明:如果应用需要与AI大模型进行对话,则需要在编排中添加 AI 对话组件,选择 AI 模型,设置提示词,提示词可以引用前置节点的参数输出。如:可以引用前置知识库检索的检索结果和开始节点的问题变量。

AI对话

AI 对话节点输出参数说明:

  • AI回答内容 {answer}:AI模型返回的内容。

2.1.3 指定回复节点

节点说明:支持指定输出文本内容,如没有在知识库查询到相关内容时,可以指定回复一段文案;支持指定输出变量,如在知识库查询到的相关内容满足直接回答的,可以直接选择该变量,系统会自动转化成字符串进行输出。

指定回复

指定回复节点输出参数说明:

  • 内容{answer}: 指定回复输出的内容。

2.1.4 判断器节点

节点说明:根据不同的条件判断,执行不同的分支,每个分支一个输出,每个分支必须有后置执行节点。

判断器

判断器节点节点输出参数说明:

  • 分支名称{branch_name}: 根据条件判断执行分支的分支名称。

2.2 使用场景举例

2.2.1 问题分类回答

使用场景说明:给应用添加一个问题分类,当用户提问后,先对问题进行分类,按照问题类别查询不同的知识库。要求如下:
1、如果分类结果是打招呼的,则指定回复内容;
2、如果分类结果是售前问题咨询的,则查询售前问题知识库;
3、如果分类结果是售后问题咨询的,则查询售后问题知识库;
4、如果分类结果是其他咨询的,则直接问AI模型。
实现以上场景的工作流编排如下:

问题分类案例

2.2.2 敏感词检索

使用场景说明:当用户提出问题后,先判断用户的问题是否存在敏感词,如果存在敏感词,就指定回复的内容,如果不存在敏感词就继续检索知识库。
要想实现该需求,需要执行以下几步:

1、在知识库中维护一个敏感词知识库,把敏感词添加到问题中,然后关联一个指定敏感词的分段;

敏感词问题库

2、在开始节点后,增加一个知识库检索节点命名为:敏感词检索,选择知识库:敏感词知识库;

敏感词分段

3、在知识库检索节点后,增加一个判断器,判断敏感词检索的检索结果是否存在敏感词,检索结果不为空,则说明存在敏感词,否则则不存在敏感词可以继续检索知识库,进行后续流程。

敏感词编排

2.3 调试

点击【调试】后,先校验流程是否合规,校验通过后可以在当前页面进行对话测试。

调试预览

2.4 执行详情

在调试对话框中进行提问,AI回答完成后,会显示【执行详情】,点击【执行详情】后,弹出执行详情对话框,可以查看每个流程节点的执行状态、耗时和详细的内容。

执行详情

2.5 保存

当前系统每隔 1 分钟自动保存到本地,在校验通过后手动点击发布后将修改配置同步到线上。

2.4 发布

高级编排应用的所有修改点击【发布】后,将在问答页面中生效。
点击发布时会校验当前工作流是否符合规则,符合规则将成功发布,否则发布失败。

3 删除应用

在应用列表,点击删除图标可对应用进行删除操作。

删除应用