VLM模型的视觉rknn加载不了，failed to malloc npu memory, size: 1427746880

[meiliu-c]

已经将Qwen2.5_VL_3B的视觉模型转化为rknn（大小为：1.34G），语言模型转化为rkllm（大小为：3.48G），但是运行qwen2_vl_2B的demo出现视觉模型加载不进去，报错如下：
I rkllm: rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.8, platform: RK3588

rkllm init success
main: LLM Model loaded in 17759.32 ms
E RKNN: [01:13:18.648] failed to allocate handle, ret: -1, errno: 14, errstr: Bad address
E RKNN: [01:13:18.656] failed to malloc npu memory, size: 1427746880, flags: 0x2
E RKNN: [01:13:18.656] Import rknn model failed!
E RKNN: [01:13:18.656] rknn_init, load model failed!
rknn_init fail! ret=-6
init_imgenc fail! ret=-1 model_path=../qwen2_vl_3b_vision_rk3588.rknn
我的ddr内存为16G，不知道为什么不能加载？我转换qwen2_vl_7B模型也出现同样的错误，请问如何解决？这个npu memory与什么有关系呢？

[waydong]

内存分配的问题，尝试在rkllm添加上这个参数 param.extend_param.base_domain_id = 1;

[meiliu-c]

请问这个domain代表什么呢？可以解释一下么

…

----------回复的邮件信息---------- ***@***.***> 于2025年2月27日(周四) 上午8:55写道: 内存分配的问题，尝试在rkllm添加上这个参数 param.extend_param.base_domain_id = 1; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> waydong left a comment (airockchip/rknn-llm#195) 内存分配的问题，尝试在rkllm添加上这个参数 param.extend_param.base_domain_id = 1; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[meiliu-c]

为什么视觉语言模型的catch需要很大？我这里不能跑的原因是catch要求太多导致直接segment fault？

…

----------回复的邮件信息---------- ***@***.***> 于2025年2月27日(周四) 上午8:55写道: 内存分配的问题，尝试在rkllm添加上这个参数 param.extend_param.base_domain_id = 1; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> waydong left a comment (airockchip/rknn-llm#195) 内存分配的问题，尝试在rkllm添加上这个参数 param.extend_param.base_domain_id = 1; — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[waydong]

请问这个domain代表什么呢？可以解释一下么
…

内存按4G分段，一个domain就是4G。

[meiliu-c]

加上这个参数设置还是有问题，我的模型并不大，只是3b。这个share我理解就是放模型和参数的。不知道这个used在推理时用于做什么？catch也很大，另外我分配了swap4g空间，好像也没有用到。free还是没有内存，能解释一下原因么

…

----------回复的邮件信息---------- ***@***.***> 于2025年3月5日(周三) 下午4:33写道: 请问这个domain代表什么呢？可以解释一下么 … 内存按4G分段，一个domain就是4G。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***> waydong left a comment (airockchip/rknn-llm#195) 请问这个domain代表什么呢？可以解释一下么 … 内存按4G分段，一个domain就是4G。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>