merge: merge master to 3.11.x

docs/overview/ai_chat_stream.md

@@ -0,0 +1,15 @@
+# AI对话流式接口实现技术方案
+
+**（1）流式数据通道建立**  
+为了让用户能在页面上及时看到大模型生成的内容，必须在【用户浏览器】-【作业平台后台】-【大模型服务】之间建立一条流式数据通道。其工作原理如下图所示：  
+![AIDataRoute](../resource/img/ai_data_route.png)
+后台一方面需要从大模型服务获取流式数据，另一方面需要将获取到的流式数据及时写入到用户浏览器发起的请求响应中。  
+经过调研，采用前端Fetch API分块读取流式数据+后台Spring MVC异步接口来提供流式数据。  
+Spring MVC中的异步接口使用单独的异步任务线程池来执行异步任务（调用大模型服务获取流式数据），在异步任务执行过程中可以向响应输出流写入数据，并在异步任务完成后将请求的处理交还给底层Tomcat容器。  
+在实现过程中发现，使用openai4j框架调用大模型获取流式数据的过程本身也是异步的，框架使用了OKHttp的Dispatcher线程池发起请求，收到的流式数据通过回调接口的方式传递给调用方（在Dispatcher工作线程中）。要将Dispatcher工作线程收到的数据传递给Spring MVC的异步任务线程，才能及时写入到输出流中传递给浏览器让用户看到。  
+因此这里需要用到线程间的数据同步技术，使用JDK并发包中提供的阻塞队列来实现，建立流式数据通道，在收到分块数据后立即将其发送至Web端，延迟P95<2ms，整体技术方案如下图所示：
+![AIDataArchitecture](../resource/img/ai_data_architecture.png)
+
+**（2）流式数据卡顿问题排查解决**  
+在部分环境中，我们发现页面上的流式接口需要间隔几秒才能收到一波数据，导致回答内容一批一批地出现几十个字，内容呈现非常不连续，用户体验较差。
+经过对比分析与排查，我们发现问题在于请求链路中存在Nginx转发环节，而**Nginx的默认配置中，对于响应内容存在8K的缓冲区**，只有缓冲区写满了才会输出到客户端从而造成卡顿，缓冲区存在的初衷是为了减少IO操作提高传输效率，但它同时也带来了延迟，这对于流式接口并不适用，因此在非正式环境中我们配置关闭该缓冲区，卡顿问题也由此得到解决，在性能要求较高的环境中，可以针对具体的流式接口关闭该缓冲区。

src/backend/build.gradle

@@ -152,6 +152,9 @@ ext {
     set('mockitoVersion', "4.0.0")
     set('embeddedRedisVersion', "0.6")
     set('openai4jVersion', "0.18.0")
+    set('shardingJdbcVersion', "5.4.1")
+    set('snakeyamlVersion', "1.33")
+    set('bkDevOpsLeafVersion', "1.0.2-RELEASE")
 }
 
 group "com.tencent.bk.job"
@@ -348,6 +351,9 @@ subprojects {
             dependency "org.mockito:mockito-inline:$mockitoVersion"
             dependency "com.github.kstyrc:embedded-redis:$embeddedRedisVersion"
             dependency "dev.ai4j:openai4j:$openai4jVersion"
+            dependency "org.apache.shardingsphere:shardingsphere-jdbc-core:$shardingJdbcVersion"
+            dependency "org.yaml:snakeyaml:$snakeyamlVersion"
+            dependency "com.tencent.devops.leaf:leaf-boot-starter:$bkDevOpsLeafVersion"
         }
     }
     dependencies {

src/backend/commons/ai-dev-sdk/src/main/java/com/tencent/bk/job/common/aidev/IBkOpenAIClient.java

@@ -33,17 +33,17 @@
 public interface IBkOpenAIClient {
 
     /**
-     * 获取混元流式回答，最终返回完整的回答结果，流式数据由partialRespConsumer接收处理
+     * 获取AI流式回答，最终返回完整的回答结果，流式数据由partialRespConsumer接收处理
      *
      * @param token               用户身份凭据
      * @param messageHistoryList  历史消息列表
      * @param userInput           用户输入
      * @param partialRespConsumer 分块消息处理器
      * @return 完整的回答结果Future
      */
-    CompletableFuture<String> getHunYuanAnswerStream(String token,
-                                                     List<AIDevMessage> messageHistoryList,
-                                                     String userInput,
-                                                     Consumer<String> partialRespConsumer);
+    CompletableFuture<String> getAIAnswerStream(String token,
+                                                List<AIDevMessage> messageHistoryList,
+                                                String userInput,
+                                                Consumer<String> partialRespConsumer);
 
 }

src/backend/commons/ai-dev-sdk/src/main/java/com/tencent/bk/job/common/aidev/config/AIDevAutoConfiguration.java

@@ -24,12 +24,13 @@
 
 package com.tencent.bk.job.common.aidev.config;
 
-import com.tencent.bk.job.common.aidev.impl.BkAIDevClient;
+import com.tencent.bk.job.common.aidev.impl.BkChatCompletionModel;
 import com.tencent.bk.job.common.aidev.impl.BkOpenAIClient;
 import com.tencent.bk.job.common.esb.config.AppProperties;
 import com.tencent.bk.job.common.esb.config.BkApiGatewayProperties;
 import io.micrometer.core.instrument.MeterRegistry;
 import lombok.extern.slf4j.Slf4j;
+import org.springframework.boot.autoconfigure.condition.ConditionalOnMissingBean;
 import org.springframework.boot.context.properties.EnableConfigurationProperties;
 import org.springframework.cloud.sleuth.SpanNamer;
 import org.springframework.cloud.sleuth.Tracer;
@@ -42,14 +43,7 @@
 public class AIDevAutoConfiguration {
 
     @Bean
-    public BkAIDevClient bkAIDevClient(MeterRegistry meterRegistry,
-                                       AppProperties appProperties,
-                                       CustomPaasLoginProperties customPaasLoginProperties,
-                                       BkApiGatewayProperties bkApiGatewayProperties) {
-        return new BkAIDevClient(meterRegistry, appProperties, customPaasLoginProperties, bkApiGatewayProperties);
-    }
-
-    @Bean
+    @ConditionalOnMissingBean
     public BkOpenAIClient bkOpenAIClient(Tracer tracer,
                                          SpanNamer spanNamer,
                                          MeterRegistry meterRegistry,
@@ -62,7 +56,8 @@ public BkOpenAIClient bkOpenAIClient(Tracer tracer,
             meterRegistry,
             appProperties,
             customPaasLoginProperties,
-            bkApiGatewayProperties
+            bkApiGatewayProperties,
+            BkChatCompletionModel.HUNYUAN.toString()
         );
     }
 

src/backend/commons/ai-dev-sdk/src/main/java/com/tencent/bk/job/common/aidev/impl/BkChatCompletionModel.java

@@ -26,7 +26,8 @@
 
 public enum BkChatCompletionModel {
 
-    HUNYUAN("hunyuan");
+    HUNYUAN("hunyuan"),
+    HUNYUAN_TURBO("hunyuan-turbo");
 
     private final String value;