fatal error - Internal error: TP_NUM_C_BUFS too small: 50

[Liwan-Chen]

请问 EMBEDDING_MODEL = "m3e-base" 然后 运行python init_database.py --recreate-vs，重建有两个pdf文件的 kb，为什么会出现 fatal error - Internal error: TP_NUM_C_BUFS too small: 50

[dosubot[bot]]

🤖

你好，@Liwan-Chen！很高兴再次看到你。希望你一切都好！

这个错误 "fatal error - Internal error: TP_NUM_C_BUFS too small: 50" 可能是由于在处理大量数据时，内存缓冲区不足导致的。在Langchain-Chatchat的配置文件中，有两个参数可能与此有关，分别是CACHED_VS_NUM和CACHED_MEMO_VS_NUM，它们分别代表缓存向量库数量和缓存临时向量库数量。

你可以尝试增加这两个参数的值，以便为处理大量数据提供更多的内存空间。例如，你可以将CACHED_VS_NUM和CACHED_MEMO_VS_NUM的值分别设置为2和20，然后再次运行程序，看看是否还会出现同样的错误。

这是修改后的代码：

# 缓存向量库数量（针对FAISS）
CACHED_VS_NUM = 2

# 缓存临时向量库数量（针对FAISS），用于文件对话
CACHED_MEMO_VS_NUM = 20

你可以在这个链接中查看相关的配置文件：configs/kb_config.py.example

如果问题仍然存在，那么可能需要进一步检查你的系统配置，包括内存大小、CPU使用情况等，以确定是否需要进行硬件升级。

另外，关于你提到的EMBEDDING_MODEL参数，它在Langchain-Chatchat代码库中的作用是指定用于生成嵌入的模型的名称。这个参数在add_keyword_to_model函数中被用作SentenceTransformer类的model_name参数。然后，SentenceTransformer类被用来为关键词生成嵌入。

希望这些信息能帮助你解决问题。如果你还有其他问题，或者需要更多的帮助，欢迎随时向我提问。

Sources

• configs/kb_config.py.example
• embeddings/add_embedding_keywords.py
• init_database.py

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.