Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

试用下来的体验 #9

Open
mikeshi80 opened this issue Jul 13, 2021 · 8 comments
Open

试用下来的体验 #9

mikeshi80 opened this issue Jul 13, 2021 · 8 comments

Comments

@mikeshi80
Copy link

首先,Blazeface的人脸检测,对于头像占比比较大的图片,效果很差,但是对于占比小的,则效果很好。如下图的汤姆汉克斯,识别的置信度只有0.25左右
001

但是这样的集体照,则都在0.99左右
faces

另外,检测和识别的过程,看deepsight的Insightface项目,应该还缺少了Alignment这一步骤,所以当脸不是正对镜头时,计算获得的特征值的余弦相似度,会很差,如和下面的汤姆汉克斯图像对照,只有0.0X的相似度。但是这个不确定,因为InsightFace里用到的人脸检测模型应该是2d106det.onnx,模型本身就不相同。
004

而使用insightface时,两张都相似度在0.5左右。人脸识别都是用了ArcFace模型。

@littletomatodonkey
Copy link
Owner

你好,感谢你的关注

  1. 关于检测的问题,因为使用的是超轻量模型,这块anchor的设置其实相对较小,所以检测对于占据图像大部分面积的情况其实处理较差,这块可以参考PaddleDetection在自己的数据集上进行finetune,或者使用更大的模型训练,如果需求很大,我们后续也会考虑提供精度更高的检测模型
  2. 目前该repo中还没有涉及到人脸alignment的步骤,所以你说的这个倾斜的情况下,相似度差异较大的情况是存在的
  3. 两个模型都是从头训练的,参数和训练策略也会造成相似度的差异,不过这块没有定量地评估过
  4. 再次感谢你的关注和使用,效果这块我们会继续优化,你如果有什么需求也欢迎通过issue或者邮件的形式([email protected])联系我~

@mikeshi80
Copy link
Author

多谢回复,因为之前的项目,无论是分类,检测,还是OCR,都是使用飞桨的 ,所以在人脸识别上,也希望使用飞桨的平台来完成,以便部署的一致性。我试试看使用OpenCV的人脸检测,加上简单的对齐操作(使用识别出的五点,然后再和给定的标准5点进行一次transform),看看再使用人脸识别后的特征,相似度是否会提高。

@littletomatodonkey
Copy link
Owner

嗯嗯,我们其实最近也在准备把训练相关的代码合入到insight-face的官方repo中去,可以参考下这个PR:deepinsight/insightface#1652

你可以试下对齐对效果的影响,有效的话欢迎分享或者给我们提PR哈

@mikeshi80
Copy link
Author

OK,持续关注

@mikeshi80
Copy link
Author

惨,PaddlePaddledlib都用到了OpenMP,所以无法同时在一个项目里使用 ,无法使用dlib来进行人脸检测和对齐……

@yfq512
Copy link

yfq512 commented Aug 19, 2021

@mikeshi80 大神你好,我想请教一个关于人脸识别的问题:我写了个基于dlib实现人脸识别的项目,当我用uwsgi和Django去部署从而实现多并发时,会报错:from _dlib_pybind11 import * >>> ImportError: libcudnn.so.7: failed to map segment from shared object,而不用uwsgi,仅用Django自带的runserver单线程模式部署就不会报错。
这是dlib的问题么?能否通过修改一些配置来解决这个问题么?

@mikeshi80
Copy link
Author

@mikeshi80 大神你好,我想请教一个关于人脸识别的问题:我写了个基于dlib实现人脸识别的项目,当我用uwsgi和Django去部署从而实现多并发时,会报错:from _dlib_pybind11 import * >>> ImportError: libcudnn.so.7: failed to map segment from shared object,而不用uwsgi,仅用Django自带的runserver单线程模式部署就不会报错。
这是dlib的问题么?能否通过修改一些配置来解决这个问题么?

抱歉,才看到,这个问题我也没有头绪,多半是多线程问题。估计要加锁

@tao2021
Copy link

tao2021 commented Apr 23, 2022

制作索引时,需要多少张图片才有效果,我使用了4张照片来表明是一个人,但是效果完全检测不出来,我想问下,是制作索引的图片太少的原因还是我是用的模型的原因,我i使用的识别模型是mobileface

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants