GhostNetV3: Обучение компактных моделей - Беляков Максим // НКБТех

Reading club by nkbtech Сайт - nkbtech.ru Телеграм - t.me/nkb_tech В этом выпуске Reading Club НКБТех разбираем статью GhostNetV3 и эволюцию архитектуры: от GhostNetV1 (GhostModule) к GhostNetV2 (DFC Attention) и дальше — к идеям GhostNetV3. Обсудим, какую проблему решают авторы, как устроен DFC Attention (в сравнении с обычным self-attention), зачем тут depth-wise свёртки, а также что даёт re-parameterization. В конце — результаты экспериментов и важные детали обучения: knowledge distillation, learning schedule, data augmentation. 00:00 - Вступление 00:38 - Проблема статьи 01:05 - GhostNetV1: GhostModule 03:31 - GhostNetV2: DFC Attention 03:51 - Обычный Self-Attention 04:11 - DFC Attention 04:53 - Идея использования depth-wise сверток 07:45 - Итог по v2 08:07 - GhostNetV3: Идеи 08:19 - Re-Parametrization 10:00 - Результаты экспериментов 10:45 - Knowladge distilation 11:55 - Learning shedule 13:06 - Data Augmentation