일반화된 고유값 빔형성을 위한 양방향 장단기 메모리 기반 마스크 후처리 기법 (BiLSTM-Based Mask Post-Processing Method for a Generalized Eigenvalue Beamformer)

서지정보

· 발행기관 : 한국통신학회
· 수록지 정보 : 한국통신학회논문지 / 46권 / 6호 / 1078 ~ 1086페이지
· 저자명 : 송일훈, 김홍국

초록

일반화된 고유값(generalized eigenvalue, GEV) 빔형성은 다채널 마이크로폰 어레이 구조에 독립적으로 도래각추정에 의존하지 않으면서 잡음 환경에서의 음성을 추정할 수 있다. GEV 빔형성을 위해서는 타겟 음성 및 잡음의 전력 스펙트럼 밀도 행렬을 구해야 한다. 본 논문에서는 GEV 빔형성을 위한 양방향 장단기 메모리(bidirectional long short-term memory, BiLSTM) 신경망 기반 이진 마스크 후처리 기법을 제안한다. 제안된BiLSTM은 다채널 잡음 음성의 스펙트로그램을 입력으로 하고 이진 마스크를 타켓으로 하여 학습되며, BiLSTM 으로 추정된 이진 마스크를 적용하여 음성 및 잡음의 전력 스펙트럼 밀도 행렬을 구하고, 이를 이용하여 고유값분해를 통해 GEV 가중치를 추정한다. 또한, BiLSTM 기반으로 추정된 이진 마스크를 GEV 빔형성으로 처리된음성에 추가적으로 적용되어 clean 음성 추정 성능 개선에 활용된다. 제안된 방법의 성능을 평가하기 위하여CHiME-3 데이터셋에 적용하여 실험한 결과, 기존의 BiLSTM 기반 이진 마스크 추정을 GEV 빔형성에 적용한경우와 비교하여, 제안된 방법이 perceptual evaluation of speech quality (PESQ)에서 0.34 mean opinion score (MOS)와 signal-to-distortion ratio (SDR)에서 0.91 dB를 개선하였다.

영어초록

Generalized eigenvalue (GEV) beamforming can estimate a target speech signal from a multi-channel microphone array in noisy environments, where it does not rely on the array structure as well as direction-of-arrival (DOA) of the target speech. The GEV beamformer is realized by using power spectrum density (psd) matrices for the target speech and noise. This paper proposes a binary mask post-processing method based on a bidirectional long short-term memory (BiLSTM) neural network for GEV beamformer. The BiLSTM is trained by using spectrograms of multi-channel input speech and ideal binary mask as input and outputs, respectively. Then, the estimated binary mask is applied to multi-channel noisy speech signals to obtain the speech and noise psd matrices. To further improve the quality of enhanced speech, the estimated binary mask is also applied to a post-processing stage of the GEV beamformer. The performance of the GEV beamformer is evaluated on a task of CHiME-3 by measuring the perceptual evaluation of speech quality (PESQ) and signal-to-distortion ratio (SDR). Experiments show that the GEV beamformer employing the proposed binary mask post-processing method improves PESQ and SDR by 0.34 mean opinion score (MOS) and 0.91 dB, respectively, compared to the conventional BiLSTM-based mask estimation method.

참고자료

· 없음