이중 계층적 집적신경망 기반 개선된 그림자 검출 및 제거 방법 (Dual Hierarchical Aggregation Network based Enhanced Shadow Detection and Removal)

서지정보

· 발행기관 : 대한공간정보학회
· 수록지 정보 : 대한공간정보학회지 / 29권 / 2호 / 27 ~ 34페이지
· 저자명 : 김주완, 장인성

초록

3D 공간정보, 가상/증강현실, 스마트시티와 같은 정보통신기술이 발전함에 따라 실세계 도시와 같은 가상 3D 도시모델에 대한 요구가 증가하고 있으며, 사실적인 3D 도시모델을 구축하기 위하여 항공사진 등 실제 사진을 텍스쳐로 활용하고 있다. 그러나 실제 도시를 촬영한 사진에 포함된 그림자는 3D 도시모델의 현실감과 몰입감을 떨어뜨리는 장애요소가 되고 있다. 항공사진 등 복잡한 도시환경을 촬영한 사진에서 그림자를 제거하는 것은 매우 어려운 문제이다. 최근 종단간 딥러닝을 이용하여 그림자를 검출하고 제거하는 연구가 진행되고 있으나, 아직까지 그림자 형상이 복잡한 도시환경에 적용하기 어려운 문제가 있다. 본 논문에서는 이중 계층적 집적신경망을 기반으로 개선된 그림자 검출 및 제거 방법을 제안한다. 제안하는 방법은 합성곱에 의해 입력 영상의 스케일 변화에 강건한 결과를 얻기 위하여 이중 계층적 집적신경망 다음에 스킵 커넥션을 추가한다. 그리고, 그림자 경계 정보를 활용하기 위한 U-Net 구조와 픽셀의 엣지 성분에 대한 손실함수를 추가하였다. 공개된 그림자 학습 데이터를 이용하여 기존 방법들과 성능 비교를 통해 제안된 방법의 그림자 검출 및 제거 성능이 개선되었음을 보여준다.

영어초록

With the development of information communication technology such as 3D spatial information and virtual reality/augmented reality, the demand for building a virtual 3D city model like a real city is increasing. In order to build more realistic virtual 3D city models, real images such as aerial photographs are used as textures of objects in virtual 3D city models. However, the shadows included in images reduce the reality and immersion of the 3D city models. Removing shadows from images of complex urban areas, such as aerial photography, is a very difficult problem. Recently, several studies have been conducted to detect and remove shadows using end-to-end deep learning, but it is still difficult to apply to complex urban environments. In this paper, we propose a novel method to improve shadow detection and removal performance based on a dual hierarchical aggregation network. After the dual hierarchical aggregation network, we add skip connections for obtaining results against scale changes of the input image caused by convolution operations. And we append a U-Net architecture and a loss function for edge components of pixels to leverage information about shadow boundaries. Comparing the performance with the latest shadow detection and removal methods, the experiment shows that the proposed method improves shadow detection and removal performance on a dataset for shadow understanding.

참고자료

· 없음