평균 대조괴리도 알고리즘 기반 분류용 제한볼츠만기계 (Discriminative restricted Boltzmann machine using average contrastive divergence algorithm)

서지정보

· 발행기관 : 한국데이터정보과학회
· 수록지 정보 : 한국데이터정보과학회지 / 29권 / 1호 / 229 ~ 240페이지
· 저자명 : 심주용, 신원용, 황창하

초록

제한볼츠만기계는 입력벡터에 대한 확률분포를 학습할 수 있는 생성모형으로서 주로 다른 학습알고리즘을 위해 특징변수들을 추출하거나 심층 신경망의 가중치들의 초기값을 얻기 위해 사용되어왔다. 그러나 최근 제한볼츠만기계에 라벨층을 추가하여 분류를 위한 제한볼츠만기계가 고안되었다.
분류용 제한볼츠만기계의 학습 알고리즘으로 주로 대조괴리도 알고리즘이 사용되고 있다. 본 논문에서는 분류용 제한볼츠만기계를 학습하기 위해 새로운 평균 대조괴리도 알고리즘을 제안하고 분류성능을 향상시킬 수 있음을 보인다. 제안된 방법을 적용한 분류용 제한볼츠만기계는 벤치마킹 자료들을이용한 수치적 연구를 통하여 기존의 대조괴리도 알고리즘을 이용한 분류용 제한볼츠만기계보다 더좋은 성능을 보여주는 것을 확인할 수 있었다.

영어초록

Restricted Boltzmann machine (RBM) is a generative model that can learn probability distributions over input vectors. It has been mainly used to extract features for other learning algorithms or to obtain initial values of weights of deep neural networks.
However, a discriminative RBM has been recently devised by adding a label layer to ordinary RBM. Contrastive divergence (CD) algorithm is mainly used for training discriminative RBM. In this paper, we propose an average CD algorithm for discriminative RBM and show that classification performance can be improved. The proposed method is evaluated through numerical studies based on real data sets available from UCI machine learning repository and MNIST database.

참고자료

· 없음