Inclass kaggle контест по предсказанию координат 194 точек на лице на Helen dataset, где в качестве метрики используется MSE.
В лучшем решении использовалась предобученная на лицах сеть с изменённым выходом и большое количество аугментаций на обучении и предсказании. Проект написан на чистом PyTorch.
- Кастомное отражение ключевых точек по горизонтали
- Заморзка backbone вначале обучения
- Test Time Augmentation
- Различные аугментации из albumentations
- Выкидывание из обучающих данных некорректных примеров с несколькими лицами
- Hard Negatives Mining. Предположение было таким, что сеть будет точнее, если научится корректно работать со сложными примерами.
- Нормализация keypoints
- Детекция лиц и кроп к ним с помощью mtcnn, dlib.
- Добавление координат 68 точек из dlib landmarks detector в fc слои на выходе
- Добавление координат bounding box лица от детектора в последние fc