1. 为什么分类给的结果概率是只有 0 和 100%？ 2. 是否需要归一化向量后再录入向量数据库才能做搜索匹配 ?

[xxaier]

全文见
AltCLIP-XLMR-L-m18 模型学习 & 踩坑笔记 (未完版)

没搞明白的事情

为什么分类给的结果概率是只有 0 和 100%？

我测试了一张女人抱着狗的图，给出来的分类还是『狗』100%

with torch.no_grad():
  text_probs = (image_features @ text_features.T).softmax(dim=-1)

for kind, p in zip(kind_li, text_probs.cpu().numpy()[0].tolist()):
  p = round(p * 10000)
  if p:
    print("  %s %.1f%%" % (kind, p / 100))

是否需要归一化向量后再录入向量数据库才能做搜索匹配 ?

我看Chinese-CLIP 中这么写

# 对特征进行归一化，请使用归一化后的图文特征用于下游任务
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)

那么 AltCLIP-XLMR-L-m18 中得到图片和文本的向量

image_features = model.get_image_features(image)
text_features = model.get_text_features(text,attention_mask=attention_mask)

是不是也需要归一化之后才能放到向量数据库（用来做后续的搜索）；还是说，不需要这个操作？

[920232796]

第一个问题，您可以直接打印下概率值，不要转换为百分数，也不要用".1f"。

第二个问题，我认为需要进行归一化，您可以对比下两者区别。

[xxaier]

第一个问题，您可以直接打印下概率值，不要转换为百分数，也不要用".1f"。

我明白了，我测试了一个四不像是图，果然都有数字了
如果同时有人和狗，人是0狗是100%，看来还是要先目标检测再去识别比较合适

第二个问题，我认为需要进行归一化，您可以对比下两者区别。

我不太懂深度学习，请问归一化是照抄Chinese-CLIP的这种写法就可以了吗？

image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)