开发交流

[KonghaYao]

你可以在这里随便谈谈

[Nyeilim]

作者大大 V4 开发计划那个 "自建词库" 希望做成什么样呢? 我有点不成熟的想法;
我看了看目前那个 Tag 的 CSV 文件是现在人工的手动录入添加的吗?

1. 自建的词库,能不能加上给 TAG 加备注的功能? 我现在发现有些中文是看不懂的, 必须要用一段话来详细翻译;
2. 如果有自建词库, 能否先对自建词库进行搜索, 然后再搜索全局词库?
3. 用户是否能选择将自建词库数据上传到全局词库, 以完善和优化全局词库的翻译? (感觉 CSV 好像实现不了这个功能)
4. 未来是否会对 R18 的词汇进行限制呢? 我看有一条 "违禁词，违禁词库在 data/swearList, 执行脚本自动向 tags.csv 写入 r18 这一列"
   P.S 我招了, 我是专注画色图的玩家

然后针对现有词库是否能进行搜索的精简? 或者说划分为常用词库和不常用词库?
主要是我使用的时候, 老是会出现一大堆不相关的词(应该说感觉一辈子都用不上的词?)
我粗略想了想可能这样做:

1. 爬虫统计获取 Booru 类网站某个标签的词汇总数
2. 根据词汇自身组成词汇在英语中的出现词频计算权重
3. 根据网站用户的输入计算权重

话说大大和这个图书馆网站有交流吗? https://www.cerfai.com/#/index
不过我看了看里面的词条质量堪忧, 可能没啥大用...

[KonghaYao]

CSV 的确是我手动维护的😂，因为是以前拿到的词条，然后现在比较难处理一点。
首先，V4 版本的最后一阶段被我改成了 AI 生成词汇，因为昨天我才把我研究的文本生成模型弄好，今天上传上去了，估计明后几天将能够以秒级的速度生词😂
所以其实自建词库有点延后，我的想法是后面将会自动识别不认识的词汇，然后有翻译面板嘛，后面补充一个 收藏，就直接到自己的词库。
然后，不装了，分类我是摆烂了好久了，因为发现分类有但难，所以估计后面是搞爬虫（一点没弄捏😂）；自建词库其实就是一个自己的分类嘛，所以会一起完成。
图书馆我知道，原始词汇也是和它同源的，但是后面发现这样的情况：词汇太多，人没有经过系统训练是想不出来的，要不就是 模型没有训练到这个词汇的联系，不是词库里面没有，只是想出来太难了。
所以检索方式很重要，未来我是想训练一个AI ，你写到哪里，快捷键一按，它就自动给出几个合适的补充，这样可能比较强力，现在能够做到一点点，但是没有 GPU 只有 CPU 在服务器上，就。。。比较难。😂（那个色图 Prompt AI 被我废弃了😂）
我觉得后面也会重新对词汇进行划分的，关于统计方面也会加强，那就估计是V5 的部分了。