Request entity too large: limit is 3145728

[killomsc]

Issue Type

Api Usage

Search for existing issues similar to yours

Yes

Kuscia Version

v0.9.0b0

Link to Relevant Documentation

No response

Question Details

在特征比较多的场景，达到700个，跑皮尔逊相关系数的组件的过程中，secretflow调用kuscia datamesh的api,创建一个domain data报错：Request entity too large: limit is 3145728

2024-08-06T09:52:36.003083365+08:00 stderr F vendor: "secretflow"
2024-08-06T09:52:36.003086285+08:00 stderr F  : ret = status {
2024-08-06T09:52:36.003089065+08:00 stderr F   code: 12200
2024-08-06T09:52:36.003092585+08:00 stderr F   message: "Request entity too large: limit is 3145728"
2024-08-06T09:52:36.003095535+08:00 stderr F }
2024-08-06T09:52:36.003098005+08:00 stderr F

[lanyy9527]

你好，请求体中 特征列太大了，超过了 4M，目前grpc 最大的数据传输量是 4M。
解决方式：
1.可以将数据维数改小一点试下
2.可以通过二开kuscia来修改传输量大小限制，在此处上方增加opts = append(opts, grpc.MaxRecvMsgSize(1010241024))，尝试一下

[killomsc]

@lanyy9527 grpc.MaxRecvMsgSize的限制，在这个问题前已经修改过的。这个当时的错误是grpc: received message larger than max (67066713 vs. 4194304)

[lanyy9527]

有配置nginx吗？

[killomsc]

没有的。

[lanyy9527]

您这边的具体场景是什么，为什么需要这么多的维度？

[killomsc]

原本的数据集就是800-1500维度，只是要经过筛选后入模。然后在这个过程中，就试下组件的运行情况。

[lanyy9527]

先对特征进行过滤后重新尝试下。目前请求体大小的限制是3Mb，这个是k3s写死的，后续会想办法解一下

[killomsc]

好的，期待解决方案