설명가능 인공지능을 이용한 머신 러닝의 환경음 분류 분석 (Analysis of Machine Learning-based Environmental Sound Classification Using Explainable Artificial Intelligence(XAI))

서지정보

· 발행기관 : 한국지식정보기술학회
· 수록지 정보 : 한국지식정보기술학회 논문지 / 18권 / 6호 / 1719 ~ 1728페이지
· 저자명 : 오원근

초록

머신 러닝 기반의 음향 분류는 여러 분야에 효과적으로 응용될 수 있는 기술이다. 음향 분류기의 인식 성능을 높이기 위해서는 복잡한 모델 사용이나 전처리 방법 개선 등과 같은 다양한 방법이 시도되고 있으며, 그 결과 인식률이 높은 알고리즘이 지속적으로 개발되고 있다. 그러나 성능이 개선된 이유에 대해서는 명확하게 설명할 수 없는 경우가 많으며, 이는 머신 러닝 모델의 블랙박스 특성으로 인한 것이다. 본 논문에서는 이러한 점에 주목하여 머신 러닝 음향 분류기에 설명 가능 인공지능 기법을 적용하고, 분류할 소리의 스펙트로그램에서 어떤 부분이 결과에 영향을 미치는지 분석하였다. 설명 가능 인공지능 기법은 다양한 응용 분야에서 적용되고 있으나, 이미지나 정형 데이터 분석에 비해 음향 인식에 사용된 연구는 많지 않은 편이다. 본 논문에서 사용한 XAI 알고리즘은 LIME이며, 이는 대리 분석 기반의 XAI 알고리즘으로서 모델이나 학습 방법과 관련 없이 적용할 수 있는 특징이 있다. 실험에 사용한 데이터 세트는 10종의 도시 환경음으로 구성된 UrbanSound8K이며, 이를 처리할 머신 러닝 모델은 VGG16 기반의 전이 학습 시스템으로 구성하였다. 실험은 학습이 완료된 모델에 소리를 입력한 다음, LIME 알고리즘을 사용하여 분류 결과에 영향을 가장 크게 준 스펙트로그램 영역을 도출하였다. 이를 통해 소리를 바르게 인식한 경우와 그렇지 않았을 때 스펙트로그램의 인식 영역 패턴을 찾아내고자 하였다. 분석 결과는 소리에 따라 차이가 있었다. 복합음과 임펄스성 소리는 어느 정도 공통된 분류 패턴을 보였으나 여러 소리가 혼합된 소리는 뚜렷한 패턴을 보이지 않았다. 이처럼 소리 종류에 따라 LIME으로 분석한 결과는 차이가 있었으며, 이 경우 LIME 파라미터 조정이나 다른 XAI 기법 적용을 통해 더 향상된 결과를 얻을 수 있을 것으로 생각된다. 향후 소리 유형 분류의 세분화, 그리고 또 다른 소리 데이터 세트를 이용하여 더욱 다양한 소리에 대해 분석할 예정이다.

영어초록

Sound classification using machine learning is a technology that can be effectively applied to various fields. Several methods, such as adapting more complex models or improving pre-processing stages, have been attempted to increase the recognition performance of sound classifiers, and as a result, algorithms with high recognition rates are continuously being developed. However, it is often impossible to clearly explain why the performance has improved, and this is due to the black box characteristics of machine learning models. In this paper, we applied an explainable artificial intelligence(XAI) technique to the machine learning sound classifier and analyzed which part of the spectrogram of the sound to be classified affects the results. The XAI is applied in various applications, but only a few studies are conducted for sound recognition compared to image data analysis. The XAI technique used in this paper is LIME, a surrogate model algorithm that can be applied regardless of the model or learning method. The dataset used in the experiment is UrbanSound8K, which consists of 10 types of urban environmental sounds, and the machine learning model to handle it consists of a VGG16-based transfer learning model. The experiment uses the LIME algorithm to derive the spectrogram area most significantly affecting the classification results. Through this, we tried to find out the recognition patterns of the spectrogram when sound was correctly recognized and when it was not. The analysis results were different depending on the sound. Complex sounds and impulsive sounds showed some common classification patterns, but sounds mixed with several sounds did not show a clear pattern. The results of the LIME analysis differed depending on the type of sound, and these could be improved by adjusting the LIME parameters or applying other XAI techniques. In the future, we plan to refine the taxonomy of the sounds further and analyze a wider variety of sounds using different audio datasets.

참고자료

· 없음