특성맵 차분을 활용한 커널 기반 비디오 프레임 보간 기법 (Kernel-Based Video Frame Interpolation Techniques Using Feature Map Differencing)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 13권 / 1호 / 17 ~ 27페이지
· 저자명 : 서동혁, 고민성, 이승학, 박종혁

초록

비디오 프레임 보간(Video Frame Interpolation)은 움직임의 연속성을 증가시켜 영상을 부드럽게 재생할 수 있어 영상, 미디어 분야에서 사용되는중요한 기술이다. 딥러닝 기반 비디오 프레임 보간 연구에서 널리 사용되는 방법 중 하나인 커널 기반 방법(Kernel Based Method)의 경우, 지역적인변화를 잘 포착하지만 전체적인 변화를 처리하는 데 한계가 있었다. 이에 본 논문에서는 주요 변화 포착에 집중하기 위한 특성맵 차분, Two Direction을 적용한 새로운 U-Net 구조를 통해 파라미터 수를 줄이면서 중간 프레임을 보다 정확하게 생성하고자 한다. 실험 결과 제안한 구조가 기존보다Vimeo, Middle-burry 등의 일반적인 데이터셋과 새로운 YouTube 데이터셋에서 기존 모델보다 약 61% 더 적은 파라미터로 PSNR 수치가 최대0.3 우수한 성능을 달성하였다. 본 논문에서 사용한 코드는 https://github.com/Go-MinSeong/SF-AdaCoF에서 확인 가능하다.

영어초록

Video frame interpolation is an important technique used in the field of video and media, as it increases the continuity of motionand enables smooth playback of videos. In the study of video frame interpolation using deep learning, Kernel Based Method captureslocal changes well, but has limitations in handling global changes. In this paper, we propose a new U-Net structure that applies featuremap differentiation and two directions to focus on capturing major changes to generate intermediate frames more accurately while reducingthe number of parameters. Experimental results show that the proposed structure outperforms the existing model by up to 0.3 in PSNRwith about 61% fewer parameters on common datasets such as Vimeo, Middle-burry, and a new YouTube dataset. Code is available athttps://github.com/Go-MinSeong/SF-AdaCoF.

참고자료

· 없음