공감각인지 기반 근감각신호에서 색·음으로의 변환 시스템 (The System of Converting Muscular Sense into both Color and Sound based on the Synesthetic Perception)

서지정보

· 발행기관 : 한국지능시스템학회
· 수록지 정보 : 한국지능시스템학회 논문지 / 24권 / 5호 / 462 ~ 469페이지
· 저자명 : 배명진, 김성일

초록

본 논문은 공감각의 공학적인 응용 및 표현방법에 관한 기초연구로서, 인간이 인지할 수 있는 감각들 중 근감각을 시각 및청각 요소로 변환하는 기본 시스템의 구축을 목표로 한다. 구축방법으로서, 근감각 신호를 3축 가속도 센서 및 2축 자이로센서로부터 계산된 롤(roll), 피치(pitch) 신호를 통하여 근감각 신호 데이터를 획득하고 그 데이터에서 시각적 컬러 정보와청각적 정보로 변환하는 방법을 제안한다. 롤 신호는 HSI 컬러 모델의 명도(Intensity)와 청각의 요소인 옥타브(Octave)로변환하고, 피치 신호는 HSI 컬러 모델의 색상(Hue)과 청각의 음계(Scale)에 대응하여 변환한다. 추출된 HSI 컬러모델의 요소성분들을 기반으로 RGB 컬러모델로 변환한 후 실시간 컬러 출력신호를 얻는다. 또한, 청각의 요소인 옥타브 및 음계 성분을 기반으로 MIDI 신호로 변환, 합성한 후 실시간 사운드 출력신호를 얻는다. 실험에서, 신체의 움직임 즉 근감각을 표현하는 롤과 피치 값에서 색과 음 사이의 유사성에 기초한 변환관계에 따라 정상적인 색과 음이 출력되는 것을 확인하였다.

영어초록

As a basic study on both engineering applications and representation methods of synesthesia, this paper aims at building basicsystem which converts a muscular sense into both visual and auditory elements. As for the building method, data of themuscular sense can be acquired through roll and pitch signals which are calculated from both three-axis acceleration sensorand the two-axis gyro sensor. The roll and pitch signals are then converted into both visual and auditory information asoutputs. The roll signals are converted into both intensity elements of the HSI color model and octaves as one of auditoryelements. In addition, the pitch signals are converted into both hue elements of the HSI color model and scales as anotherone of auditory elements. Each of the extracted elements of the HSI color model is converted into each of the three elementsof the RGB color model respectively, so that the real-time output color signals can be obtained. Octaves and scales are alsoconverted and synthesized into MIDI signals, so that the real-time sound signals can be obtained as anther one of outputsignals. In experiments, the results revealed that normal color and sound output signals were successfully obtained from rolland pitch values that represent muscular senses or physical movements, depending on the conversion relationship based onthe similarity between color and sound.

참고자료

· 없음