An automated note generation system has been designed that improves the disadvantages of creating notes in music using BMS programs. In this paper, using FFT algorithm, the sound scale was extracted through frequency analysis of audio file and converted to color information. This was used to create automatic notes and balance the game in the rhythm game. In the case of non-complexed music such as children's songs, sound extraction was possible, but music such as K-pop, which had complex voices mixed, lacked accuracy. In this paper, the existing research on the relationship between pitch and color was objectively quantified and the system was designed to determine the balance and difficulty of the game based on the synesthesia felt by human.

The education based on synesthesia has been used to be applied for several years. Especially, We focused on the Coloured-hearing Synesthesia for music education for children who have difficulty in practicing pitch by using the serious game based on Coloured-hearing theory. Also, smart platform is flexible for several sort of video games so we expect good accessibility for children. For proving the effectiveness for education by using this technology and theory, we design the serious game for music called “Bunny’s Cave” based on Coloured-hearing theory and conduct the usability test aimed at 3rd grade student in elementary school.

공감각의 최초 표현은 인류 언어 발달과 그 역사를 함께 하 고 있으며, 현대에 이르기까지 시․문학 작품과 언어 사용에서 인간 감성의 표현 수단으로 다양한 공감각 표현이 활용되어왔 다. 또한, 인간의 감성표현의 장르인 예술 분야에 있어서도 모 든 감각을 총동원하여 대상을 느끼고 그 느낌을 시각예술로 표 현하려고 했던 작품들, 시각 예술과 청각예술이 상호 교류 하 면서 얻어진 영감으로 표현된 작품들, 현대 멀티미디어 시대의 영상음악으로 맥을 이어갈 수 있는 총체예술의 개념과 시각음 악․색채음악이라는 새로운 장르의 출현 등 인간의 공감각 현 상을 바탕으로 한 예술 활동을 찾아볼 수 있다. 한편, 과학적 측면에서는 공감각 현상에 대한 인간의 생리적․심리적 작용에 대한 메카니즘을 밝히고자 하는 연구를 공감각자(共感覺者, Synesthetes)를 대상으로 진행하고 있다. 이렇듯 공감각 연구는 심리학, 생리학, 미학, 문학, 과학 등 다양한 학문분야와 관련된 흥미로운 연구대상이라 할 수 있다. 본 연구의 목적은 다학제적 관점에서 정의하고 있는 공감각 의 개념과 공감각 연구의 경향을 파악해 보고자 하며, 국내 공 감각 디자인 연구를 중심으로 연구 방법과 내용을 분석해 보고 자 한다. 본 연구에서는 감성디자인 연구의 분야로서 공감각 연구의 의미를 밝히고, 다양한 공감각 감성 디자인 연구의 활 용방향의 가능성을 제시한다는 점에서 연구의 의의를 가진다.