동적 카메라 영상을 위한 영상 스티칭 기반 프레임 보간 프레임워크 (Image Stitching based Frame Interpolation Framework for Dynamic Camera Images)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 30권 / 1호 / 12 ~ 24페이지
· 저자명 : 오명훈, 이성배, 김규헌

초록

영상 프레임 보간법은 실제 존재하는 프레임 두 장을 입력으로 받아, 존재하지 않는 가상의 중간 프레임을 만들어 영상의 초당 프레임 수(FPS)를 증가시키는 기술이다. 영상 프레임 보간법 중 하나인 광학 흐름(Optical Flow) 기반 프레임 보간 기법은 프레임 간에픽셀의 이동성을 계산하여 가상의 중간 프레임에 대한 이동성을 예측함으로써 중간 프레임을 생성하는 기술이다. 이에 이전 프레임의픽셀이 다음 프레임에서 나타나지 않거나 프레임 간에 이동성이 큰 경우에는 부정확한 광학 흐름이 예측되어 왜곡(Artifact)이 존재하는 보간 프레임이 생성될 수 있으며, 동적 카메라 환경에서는 영상 내 객체 픽셀만이 이동하는 것이 아니라 배경 픽셀 또한 이동성이있기에 배경 영역에서도 왜곡이 발생할 수 있다. 한편, 다수의 영상을 합성하는 영상 스티칭 기술은 영상 내 객체의 이동성을 고려하지 않기에 객체 영역에서 시간 차이에 의한 고스트 현상(Ghost effect)이 나타날 수 있지만, 영상에서 추출한 특징점(Keypoint) 중에서다수가 매칭되는 호모그래피(Homography)를 통해 영상을 합성하기에 시차(Parallax)가 작은 배경 영역은 왜곡이 적게 나타날 수 있다.
이에 본 논문에서는 배경 영역은 영상 스티칭 기술을 통해서 생성하고 객체 영역은 광학 흐름 기반 프레임 보간법을 통해 생성함으로써, 보간 프레임의 왜곡을 최소화할 수 있는 영상 스티칭 기반 프레임 보간법을 제안하고자 한다.

영어초록

The video frame interpolation method is a technology to increase the number of frames per second (FPS) of an image by takingtwo frames that actually exist as input and creating a virtual intermediate frame that does not exist. Optical flow-based frameinterpolation, one of the video frame interpolation methods, is a technology that generates an intermediate frame by predicting themobility for a virtual intermediate frame by calculating the mobility of pixels between frames. Therefore, if the pixels of theprevious frame do not appear in the next frame or have high mobility between frames, inaccurate optical flow may be predictedand an interpolation frame with artifacts may be generated. In a dynamic camera environment, not only the object pixels in theimage move, but also the background pixels are mobile, so various distortions may occur in the background area. On the otherhand, since image stitching technology that synthesizes multiple images does not take into account the mobility of objects in theimage, ghost effects caused by temporal differences may appear in the object area, but background areas with low parallax tosynthesize images through homography, which matches many of the keypoints extracted from the image, have the advantage ofless distortion. Therefore, this paper proposes a framework to reduce the distortion of the background area that appears in theframe interpolation process for dynamic camera images. The background area is composed of stitching techniques, and the objectarea is composed of optical flow-based frame interpolation.

참고자료

· 없음