동적 프로젝션 맵핑과 제스처 인식 기반의 실감 미디어 시스템 설계 및 구현 (Design and Implementation of Immersive Media System Based on Dynamic Projection Mapping and Gesture Recognition)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 9권 / 3호 / 109 ~ 122페이지
· 저자명 : 김상준, 고유진, 최유주

초록

최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.

영어초록

In recent, projection mapping, which has attracted high attention in the field of realistic media, is regarded as a technology to increase the users’ immersion. However, most existing methods perform projection mapping on static objects. In this paper, we developed a technology to track the movements of users and dynamically map the media contents to the users' bodies. The projected media content is built by predefined gestures just using the user’s bare hands without the special devices. An interactive immersive media system has been implemented by integrating these dynamic projection mapping technologies and gesture-based drawing technologies. The proposed realistic media system recognizes the movements and open / closed states of the user 's hands, selects the functions necessary to draw a picture. The users can freely draw the picture by changing the color of the brush using the colors of any real objects. In addition, the user’s drawing is dynamically projected on the user’s body, allowing the user to design and wear his t-shirt in real-time.

참고자료

· 없음