feature: add ai-intent plugin #1237

lizhou0 · 2024-08-21T08:49:57Z

Ⅰ. Describe what this PR did

实现LLM 意图识别插件，能够智能判断用户请求与某个领域或agent的功能契合度，从而提升不同模型的应用效果和用户体验

Ⅱ. Does this pull request fix one issue?

fixes #1201 .

Ⅲ. Why don't you add test cases (unit test/integration test)?

Ⅳ. Describe how to verify it

Ⅴ. Special notes for reviews

Signed-off-by: jose <[email protected]>

CLAassistant · 2024-08-21T08:50:03Z

All committers have signed the CLA.

johnlanni · 2024-08-22T03:14:39Z

plugins/wasm-go/extensions/ai-intent/README.md

+| `DashScope.DashScopeDomain`         | string          | 非必填     | -      | AI 服务提供商名称。目前支持以下取值：openai, azure, moonshot, qwen, zhipuai, baidu, minimax |
+| `DashScope.DashScopeKey`         | string          | 非必填     | -      | AI 服务提供商名称。目前支持以下取值：openai, azure, moonshot, qwen, zhipuai, baidu, minimax |
+| `DashScope.DashScopeServiceName`         | string          | 必填     | -      | 固定地址的服务，服务指向127.0.0.1:80 （即自身网关实例+端口），便于通过网关访问大模型 |
+| `DashScope.Url`         | string          | 非必填     | /intent/api/v1/services/aigc/text-generation/generation      | 新建一条higress的大模型路由，供该插件使用,路由以/intent作为前缀 |


为啥是dashscope？而且还是qwen的url，用higress不应该用openai协议吗，配置字段名称也跟dashscope不应该有关系

字段名字是不应该小写开头？

johnlanni · 2024-08-22T03:16:18Z

plugins/wasm-go/extensions/ai-intent/main.go

+	if c.CacheKeyFrom.RequestBody == "" {
+		c.CacheKeyFrom.RequestBody = "[email protected]"
+	}
+	log.Info("Init ai intent's components successfully.")


类似的日志等级都调整成debug

johnlanni · 2024-08-22T03:16:44Z

plugins/wasm-go/extensions/ai-intent/main.go

+			}
+			_ = proxywasm.ResumeHttpRequest()
+			return
+		}, 10000)


超时时间要支持配置

johnlanni · 2024-08-22T03:21:12Z

plugins/wasm-go/extensions/ai-intent/main.go

+	log.Infof("start onHttpRequestHeaders function.")
+
+	log.Infof("end onHttpRequestHeaders function.")
+	return types.ActionContinue


应该使用 types.HeaderStopIteration，停止 header 处理，接收 body，否则请求已经发给后端了。
注意使用这个功能需要参考这个issue编译：
#1232 (comment)
另外，注意项目下增加这个文件：
https://github.com/alibaba/higress/blob/main/plugins/wasm-go/extensions/ai-proxy/.buildrc

johnlanni · 2024-08-22T03:22:15Z

plugins/wasm-go/extensions/ai-intent/main.go

+				DashScopeResponseBody, _ := DashScopeResponseHandle(ctx, responseBody, log)
+				//大模型返回的识别到的意图类型
+				if nil != DashScopeResponseBody && nil != DashScopeResponseBody.Choices && len(DashScopeResponseBody.Choices) > 0 {
+					category := DashScopeResponseBody.Choices[0].Message.Content


直接用这个content，不能确保取值一定是枚举值

CH3CHO · 2024-08-22T05:50:16Z

plugins/wasm-go/extensions/ai-intent/README.md

+| `DashScope.DashScopeDomain`         | string          | 非必填     | -      | AI 服务提供商名称。目前支持以下取值：openai, azure, moonshot, qwen, zhipuai, baidu, minimax |
+| `DashScope.DashScopeKey`         | string          | 非必填     | -      | AI 服务提供商名称。目前支持以下取值：openai, azure, moonshot, qwen, zhipuai, baidu, minimax |
+| `DashScope.DashScopeServiceName`         | string          | 必填     | -      | 固定地址的服务，服务指向127.0.0.1:80 （即自身网关实例+端口），便于通过网关访问大模型 |
+| `DashScope.Url`         | string          | 非必填     | /intent/api/v1/services/aigc/text-generation/generation      | 新建一条higress的大模型路由，供该插件使用,路由以/intent作为前缀 |


字段名字是不应该小写开头？

CH3CHO · 2024-08-22T05:52:00Z

plugins/wasm-go/extensions/ai-intent/README.md

+
+| 名称           |   数据类型        | 填写要求 | 默认值 | 描述                                                         |
+| -------------- | --------------- | -------- | ------ | ------------------------------------------------------------ |
+| `Scene.Category`         | string          | 必填     | -      | 预设场景类别 |


这个category配成一个数组是不是更便于使用？

plugins/wasm-go/extensions/ai-intent/main.go

lizhou0 · 2024-08-22T10:06:38Z

@johnlanni @CH3CHO 代码已更新，相关内容整理如下：
1.为啥是dashscope？而且还是qwen的url，用higress不应该用openai协议吗，配置字段名称也跟dashscope不应该有关系。
readme中的url值当时未更新，现在统一调整了配置的字段名称，与dashscope无关。
2.类似的日志等级都调整成debug。
已修改
3.超时时间要支持配置。
已修改
4.应该使用 types.HeaderStopIteration，停止 header 处理，接收 body，否则请求已经发给后端了。
已修改
5.直接用这个content，不能确保取值一定是枚举值。
在给大模型的提问中明确指出了“直接返回一种具体类别，如果没有找到就返回'NotFound'。”，并且添加了返回结果是否包含在category中。
6.字段名字是不应该小写开头？
已修改
7.这个category配成一个数组是不是更便于使用？
category该字段的值会直接拼装在向大模型提问的 Prompt 预设问题中
8.用Handle的话就要放前面，放后面的话就要叫Handler。
已修改
9.新增.buildrc文件。
已修改

CH3CHO · 2024-08-22T10:24:56Z

plugins/wasm-go/extensions/ai-intent/README.md

@@ -13,30 +13,28 @@ LLM 意图识别插件，能够智能判断用户请求与某个领域或agent

 > 2.需新建一条higress的大模型路由，供该插件访问大模型,路由以 /intent 作为前缀，服务选择大模型服务，为该路由开启ai-proxy插件

-> 3.需新建一个固定地址的服务，服务指向127.0.0.1:80 （即自身网关实例+端口），ai-intent插件内部需要该服务进行调用，以访问上述新增的路由,对应 DashScope.DashScopeServiceName 
+> 3.需新建一个固定地址的服务（如：intent-service），服务指向127.0.0.1:80 （即自身网关实例+端口），ai-intent插件内部需要该服务进行调用，以访问上述新增的路由,对应 DashScope.DashScopeServiceName 


这儿还是 dashscope 啊

抱歉，这里漏掉了，已更新

CH3CHO · 2024-08-22T10:25:26Z

plugins/wasm-go/extensions/ai-intent/README.md

+  category: "['金融','电商','法律','Higress']"
+  prompt: "你是一个智能类别识别助手，负责根据用户提出的问题和预设的类别，确定问题属于哪个预设的类别，并给出相应的类别。用户提出的问题为:%s,预设的类别为%s，直接返回一种具体类别，如果没有找到就返回'NotFound'。"
+llm:
+  proxyServiceName: "intent-service"


这里测试过吗，Higress 上配出来的 service name 应该不长这样吧？

这个测试过的，也是根据 #1201 中的建议：可以不用配置dasahcope字段，只需定义服务即可，可以把网关自身作为一个服务（127.0.0.1）,然后复用网关的AI Proxy能力，统一用openai协议对接多个不同大模型。相当于这里添加了一个服务。

但是我看你的实现只支持了 static 类型的服务，实际上也可以让用户配 Dns cluster，直接访问到 openai 等服务。这里建议参考下其他插件，用FQDNCluster

CH3CHO · 2024-08-22T10:29:19Z

category该字段的值会直接拼装在向大模型提问的 Prompt 预设问题中

这个是内部的实现细节，我们是否需要对用户暴露？

lizhou0 · 2024-08-22T10:38:13Z

category该字段的值会直接拼装在向大模型提问的 Prompt 预设问题中

这个是内部的实现细节，我们是否需要对用户暴露？

#1201 (comment)

CH3CHO · 2024-08-22T10:40:31Z

category该字段的值会直接拼装在向大模型提问的 Prompt 预设问题中

这个是内部的实现细节，我们是否需要对用户暴露？

#1201 (comment)

Fine.

codecov-commenter · 2024-08-23T10:04:00Z

Codecov Report

All modified and coverable lines are covered by tests ✅

Project coverage is 44.28%. Comparing base (ef31e09) to head (b9c9b72).
Report is 64 commits behind head on main.

Additional details and impacted files

@@            Coverage Diff             @@
##             main    #1237      +/-   ##
==========================================
+ Coverage   35.91%   44.28%   +8.37%     
==========================================
  Files          69       75       +6     
  Lines       11576     9821    -1755     
==========================================
+ Hits         4157     4349     +192     
+ Misses       7104     5144    -1960     
- Partials      315      328      +13

see 80 files with indirect coverage changes

lizhou0 · 2024-08-23T13:59:25Z

@johnlanni Build and Test Plugins 失败，报错：unknown directive: toolchain。在go.mod初始化的时候go版本较高，已提交修改go版本为1.19(之前版本写的1.21)且删除了toolchain部分

johnlanni · 2024-08-25T08:29:31Z

plugins/wasm-go/extensions/ai-intent/README.md

+| `scene.category`         | string          | 必填     | -      | 预设场景类别 |
+| `scene.prompt`         | string          | 非必填     | 你是一个智能类别识别助手，负责根据用户提出的问题和预设的类别，确定问题属于哪个预设的类别，并给出相应的类别。用户提出的问题为:%s,预设的类别为%s，直接返回一种具体类别，如果没有找到就返回'NotFound'。      | llm请求prompt模板 |
+| `llm.proxyServiceName`         | string          | 必填     | -      | 新建的固定地址类型的服务，服务指向127.0.0.1:80 （即自身网关实例+端口），便于通过网关访问大模型 |
+| `llm.proxyUrl`         | string          | 非必填     | /intent/compatible-mode/v1/chat/completions      | 新建一条higress的大模型路由，供该插件使用,默认路由以/intent作为前缀 |


url的格式应该是类似：http://www.openai.com/v1/chat/completion
这样你可以从用户的配置里去同时解析出域名和path

johnlanni · 2024-08-25T08:30:57Z

plugins/wasm-go/extensions/ai-intent/README.md

+  category: "['金融','电商','法律','Higress']"
+  prompt: "你是一个智能类别识别助手，负责根据用户提出的问题和预设的类别，确定问题属于哪个预设的类别，并给出相应的类别。用户提出的问题为:%s,预设的类别为%s，直接返回一种具体类别，如果没有找到就返回'NotFound'。"
+llm:
+  proxyServiceName: "intent-service"


但是我看你的实现只支持了 static 类型的服务，实际上也可以让用户配 Dns cluster，直接访问到 openai 等服务。这里建议参考下其他插件，用FQDNCluster

johnlanni · 2024-08-25T08:33:47Z

plugins/wasm-go/extensions/ai-intent/main.go

+				proxyResponseBody, _ := proxyResponseHandler(responseBody, log)
+				//大模型返回的识别到的意图类型
+				if nil != proxyResponseBody && nil != proxyResponseBody.Choices && len(proxyResponseBody.Choices) > 0 {
+					category := proxyResponseBody.Choices[0].Message.Content


这个实现是否应该判断 content 中是否包含 category 枚举值？因为有时候LLM可能有废话，不是正好content就只返回这个category值

lizhou0 · 2024-08-26T09:35:54Z

@johnlanni 1.url的格式应该是类似：http://www.openai.com/v1/chat/completion
已修改，没有配置Domain、port相关字段时，则从proxyUrl配置中解析获取
2.但是我看你的实现只支持了 static 类型的服务，实际上也可以让用户配 Dns cluster，直接访问到 openai 等服务。这里建议参考下其他插件，用FQDNCluster
已修改
3.这个实现是否应该判断 content 中是否包含 category 枚举值？因为有时候LLM可能有废话，不是正好content就只返回这个category值
已修改，修改category字段格式和匹配逻辑。2种判定条件，1.返回的category与该预设的场景完全一致 2.返回的category包含该预设的场景

johnlanni

LGTM

feature: add ai-intent plugin

0c67fc6

Signed-off-by: jose <[email protected]>

lizhou0 requested review from johnlanni, WeixinX and CH3CHO as code owners August 21, 2024 08:49

johnlanni reviewed Aug 22, 2024

View reviewed changes

johnlanni requested changes Aug 22, 2024

View reviewed changes

CH3CHO reviewed Aug 22, 2024

View reviewed changes

feature:修改配置字段名，超时可配置，优化方法名，调整日志级别等

8dfbbe9

CH3CHO reviewed Aug 22, 2024

View reviewed changes

feature:更新README.md

b4a9a38

lizhou0 added 2 commits August 23, 2024 20:07

Merge branch 'main' into ai-intent

d7fb2d1

feature:修改go版本位1.19(之前版本写的1.21)，删除toolchain

70eb017

johnlanni requested changes Aug 25, 2024

View reviewed changes

lizhou0 added 3 commits August 26, 2024 07:26

Merge branch 'main' into ai-intent

110b7f3

feature:扩展大模型调用使用FQDNCluster;修改category字段校验和匹配逻辑;修改url配置格式，从url中解析相关字段

a1c5a14

Merge branch 'main' into ai-intent

0df276f

Merge branch 'main' into ai-intent

b9c9b72

johnlanni approved these changes Aug 27, 2024

View reviewed changes

johnlanni merged commit 2c1773a into alibaba:main Aug 27, 2024
12 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feature: add ai-intent plugin #1237

feature: add ai-intent plugin #1237

lizhou0 commented Aug 21, 2024

CLAassistant commented Aug 21, 2024 •

edited

Loading

johnlanni Aug 22, 2024

CH3CHO Aug 22, 2024

johnlanni Aug 22, 2024

johnlanni Aug 22, 2024

johnlanni Aug 22, 2024

johnlanni Aug 22, 2024

CH3CHO Aug 22, 2024

CH3CHO Aug 22, 2024

lizhou0 commented Aug 22, 2024

CH3CHO Aug 22, 2024

lizhou0 Aug 22, 2024

CH3CHO Aug 22, 2024

lizhou0 Aug 22, 2024

johnlanni Aug 25, 2024

CH3CHO commented Aug 22, 2024

lizhou0 commented Aug 22, 2024

CH3CHO commented Aug 22, 2024

codecov-commenter commented Aug 23, 2024 •

edited

Loading

lizhou0 commented Aug 23, 2024

johnlanni Aug 25, 2024

johnlanni Aug 25, 2024

johnlanni Aug 25, 2024

lizhou0 commented Aug 26, 2024

johnlanni left a comment

feature: add ai-intent plugin #1237

feature: add ai-intent plugin #1237

Conversation

lizhou0 commented Aug 21, 2024

Ⅰ. Describe what this PR did

Ⅱ. Does this pull request fix one issue?

Ⅲ. Why don't you add test cases (unit test/integration test)?

Ⅳ. Describe how to verify it

Ⅴ. Special notes for reviews

CLAassistant commented Aug 21, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lizhou0 commented Aug 22, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

CH3CHO commented Aug 22, 2024

lizhou0 commented Aug 22, 2024

CH3CHO commented Aug 22, 2024

codecov-commenter commented Aug 23, 2024 • edited Loading

Codecov Report

lizhou0 commented Aug 23, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lizhou0 commented Aug 26, 2024

johnlanni left a comment

Choose a reason for hiding this comment

CLAassistant commented Aug 21, 2024 •

edited

Loading

codecov-commenter commented Aug 23, 2024 •

edited

Loading