The education based on synesthesia has been used to be applied for several years. Especially, We focused on the Coloured-hearing Synesthesia for music education for children who have difficulty in practicing pitch by using the serious game based on Coloured-hearing theory. Also, smart platform is flexible for several sort of video games so we expect good accessibility for children. For proving the effectiveness for education by using this technology and theory, we design the serious game for music called “Bunny’s Cave” based on Coloured-hearing theory and conduct the usability test aimed at 3rd grade student in elementary school.

공감각의 최초 표현은 인류 언어 발달과 그 역사를 함께 하 고 있으며, 현대에 이르기까지 시․문학 작품과 언어 사용에서 인간 감성의 표현 수단으로 다양한 공감각 표현이 활용되어왔 다. 또한, 인간의 감성표현의 장르인 예술 분야에 있어서도 모 든 감각을 총동원하여 대상을 느끼고 그 느낌을 시각예술로 표 현하려고 했던 작품들, 시각 예술과 청각예술이 상호 교류 하 면서 얻어진 영감으로 표현된 작품들, 현대 멀티미디어 시대의 영상음악으로 맥을 이어갈 수 있는 총체예술의 개념과 시각음 악․색채음악이라는 새로운 장르의 출현 등 인간의 공감각 현 상을 바탕으로 한 예술 활동을 찾아볼 수 있다. 한편, 과학적 측면에서는 공감각 현상에 대한 인간의 생리적․심리적 작용에 대한 메카니즘을 밝히고자 하는 연구를 공감각자(共感覺者, Synesthetes)를 대상으로 진행하고 있다. 이렇듯 공감각 연구는 심리학, 생리학, 미학, 문학, 과학 등 다양한 학문분야와 관련된 흥미로운 연구대상이라 할 수 있다. 본 연구의 목적은 다학제적 관점에서 정의하고 있는 공감각 의 개념과 공감각 연구의 경향을 파악해 보고자 하며, 국내 공 감각 디자인 연구를 중심으로 연구 방법과 내용을 분석해 보고 자 한다. 본 연구에서는 감성디자인 연구의 분야로서 공감각 연구의 의미를 밝히고, 다양한 공감각 감성 디자인 연구의 활 용방향의 가능성을 제시한다는 점에서 연구의 의의를 가진다.

본 연구는 컬러영상에서 특정소리를 연상시킬 수 있는 공감각 인지현상에 기반하여 컬러이미지에서 음악요소로 변환하는 시스템의 구현을 최종 목표로 한다. 이는 빛과 소리의 물리적 주파수정보사이의 유사도를 기반으로 이루어진다. 입력 컬러영상은 우선 컬러모델변환이론에 기초하여 색상(Hue), 채도(Saturation) 및 명도(Intensity)영역으로 변환된다. 음계, 옥타브, 크기 및 시간길이 등의 음악적 성분들이 HSI 컬러모델의 각 영역으로부터 추출된다. 기본주파수(F0, Fundamental Frequency)는 색상 및 명도 히스토그램에서 추출되고, 크기 및 시간길이성분은 명도와 채도 히스토그램에서 추출된다. 실험에서, 제안된 시스템은 표준 C 및 VC++ 기반에서 실현되었고, 최종적으로 WAV 포맷의 사운드파일이 생성되었다. 시뮬레이션 결과를 통해서 입력 컬러영상에서 추출된 음악적 요소들이 출력 사운드신호에 반영됨을 알 수 있었다.

This paper is designed to investigate that the sound environment enlarged tactile sense through the game media impacts positively on the human body, cognition, and emotions, focused on two cases: elementary students' music appreciation lessons and elderly patients' music therapy. Learners using smart-device-based rhythm action games showed a rise of learning flow, learning satisfaction and learning assessment, and also music game had a positive effect on the treatment of the depression and self-esteem for elderly patients in nursing hospital. These results are because smart devices based music game provides the users environments which artificially extend human senses, give tactile and visual stimuli as well as auditory, and encourage behavior of touching interface in rhythm. In conclusion, we examine that game creates sensus communis immersive environment which effectively contributes to learning of students and psychological treatment of elderly people.

본 연구에서는 fMRI 기법을 활용하여 제품과 공감각적 은유가 적용된 제품 디자인에 표현된 미각적 요소와의 적합성 수준이 제품에 대한 신경학적 반응과 제품평가에 미치는 영향에 대하여 알아보고자 하였다. 사전조사를 통해 미각적 요소와 제품 간의 적합성 정도에 따라 제품디자인을 두 그룹으로 나누었다. 총 40개의 제품디자인이 실험자극물로 사용되었다. 총 15명의 건강한 오른손잡이 대학생들이 실험에 참가하였다. 실험은 총 2세션으로 구성되어 있고, fMRI scanning session에서 참가자들은 제품디자인을 관찰하였고, post-scanning session에는 제품디자인에 대한 선호도와 구매의도를 측정하였다. 실험결과 적합성이 높은 제품디자인이 낮은 제품디자인보다 선호도, 구매의도 모두 높게 나타났다. 뇌 반응의 경우 긍정적 보상과 관련된 미상핵(Caudate nucleus)과 피각(putamen) 영역이 적합성이 높은 조건의 제품디자인에서 더 많이 활성화 되는 것으로 나타났다.

본 논문은 공감각적 청취의 의미를 살펴보고 노노의 《프로메테우스》를 중심으로 20세 기 후반 음악의 공감각 요소를 파악하고자 하였다. 공감각적 청취는 총체적인 감각기관을 자 극하는 소리의 청각적 수용을 의미한다. ‘청취의 비극’이라는 부제를 단 《프로메테우스》에 서 노노는 움직이는 소리인 ‘공간음향’을 실현시키고자 노력했으며, 이것을 귀를 통한 공감각 적 지각으로 이루고자 했다. 《프로메테우스》에서 공감각적 청취는 성부의 폴리포니 기법, 라이브 전자음악으로 변형된 소리, 음향의 지속, 극단적인 여린 다이내믹 그리고 스피커와 연주자들의 배치 같은 요소들로 인해 야기된다. 20세기 음악청취를 위한 작품인 《프로메테 우스》를 통해 노노는 소리의 움직임을 이루어 냈고 새로운 청취의 가능성, 즉 공감각적 청 취를 보여주었다.

Chung In-Soo. 1997. Synaesthetic Transfer of Korean Adjectives. Studies in Modern Grammatical Theories 11: 163-180. The purpose of this paper is to establish the semantic system of synaesthetic transfer of Korean adjectives. The result of this study can be summarized as follows: First, spatial sense can be transferred to acoustic sense, visual sense and gustatory sense. Visual sense can be transferred to acoustic sense and acoustic sense can be transferred to visual sense. Gustatory sense can be transferred to acoustic, olfactory and visual sense. Second, the mechanism of transfer in Korean adjectives shows almost no difference with that of English or Japanese adjectives, which contributes to the universality among those languages. Third, when an adjective is transferred to another sense, the transferred adjective cannot be directly combined with the other adjective itself, but the sense is combined with an attributive noun with the exception of transfer of gustatory adjective to tactical sense. This is because the meaning of transferred adjective is not its core meaning but its peripheral meaning.