Inclass kaggle контест по предсказанию координат 194 точек на лице на Helen dataset, где в качестве метрики используется MSE.

Пример предсказания написанной модели на тестовых данных

В лучшем решении использовалась предобученная на лицах сеть с изменённым выходом и большое количество аугментаций на обучении и предсказании. Проект написан на чистом PyTorch.

Хороший прирост давали эти подходы:

• Кастомное отражение ключевых точек по горизонтали
• Заморзка backbone вначале обучения
• Test Time Augmentation
• Различные аугментации из albumentations
• Выкидывание из обучающих данных некорректных примеров с несколькими лицами

Подходы, которые не привели к улучшению модели:

• Hard Negatives Mining. Предположение было таким, что сеть будет точнее, если научится корректно работать со сложными примерами.
• Нормализация keypoints
• Детекция лиц и кроп к ним с помощью mtcnn, dlib.
• Добавление координат 68 точек из dlib landmarks detector в fc слои на выходе
• Добавление координат bounding box лица от детектора в последние fc

В результате лучшая модель выдаёт 532 по MSE.