로짓 분포 변환 기반 지식 증류를 통한 얼굴 파싱 기법 (Facial Parsing Techniques with Knowledge Distillation based on Logit Distribution Transformation)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 22권 / 12호 / 29 ~ 37페이지
· 저자명 : 배지호, 이수원

초록

얼굴 조작과 같은 응용 분야에서 얼굴 파싱(Face parsing)은 핵심적인 역할을 하며, 특히 에지(Edge) 디바이스나 실시간 추론 환경에서는 모델 경량화가 필수적이다. 그러나 로짓(Logit) 기반 지식 증류는 분류 문제에서는 피처맵 기반 방식과 함께 활발히 연구됐지만, 이를 얼굴 파싱 작업에 적용할 경우 공통 온도 설정 문제와 픽셀 간 정보 전달의 한계와 같은 과제가 존재한다. 본 연구에서는 얼굴 파싱 작업에 로짓 기반 지식 증류를 도입하며, 기존 방법의 한계를 분석하고 이를 개선한 로짓 분포 변환 기법을 제안한다. 이 기법은 공통 온도 문제를 완화하고, 학생 모델이 교사 모델로부터 픽셀 간 정보를 효과적으로 전달받을 수 있도록 설계되었다. CelebA-Mask-HQ 데이터셋을 활용한 실험 결과, 본 연구에서 제안한 기법이 경량화된 모델에서 평균적으로 약 0.5의 성능을 향상함을 확인하였다.

영어초록

Face parsing plays a crucial role in applications such as face manipulation. In edge devices or real-time inference environments, model lightweighting is essential. While logit-based knowledge distillation has been actively studied in classification tasks alongside feature map-based methods, its application to face parsing poses challenges such as the common temperature setting issue and the limitation in transferring pixel-wise information. In this study, we introduce logit-based knowledge distillation to face parsing tasks, analyze the limitations of existing methods, and propose an improved logit distribution transformation technique. This technique alleviates the common temperature issue and is designed to enable the student model to effectively inherit pixel-wise information from the teacher model. Experimental results using the CelebA-Mask-HQ dataset demonstrate that the proposed method significantly enhances the performance of lightweight models.

참고자료

· 없음