To apply CNN to a fluid problem, we need a method to effectively convert the physical quantities of fluid into an image. The performance of CNN was evaluated using the image transformation method using the minimum and maximum values of the pressure distribution data and the image transformation methods using the normal distribution of the pressure distribution data. Through the performance evaluation of the learned CNN, the image transformation methods of Method 4 and Method 5, which applied the normal distribution of representative pressure distribution data, were very effective. In particular, Method 5 includes the initial and final pressure distribution data to include overall pressure distribution data, thereby improving the resolution of the color map to improve classification performance.

Recently, the field of emotional ICT which recognizes human's emotion is a rapidly growing interest. For example, various products applying emotion are being released and Softbank's robot, Pepper, is the one of those. This robot can recognize human's emotion through facial expressions and have conversations accordingly. By reading emotion through facial expressions, communication with humans become more natural. In addition, the emotional interface between machines and humans in various areas are applied to show a more intimate interface such as emotional application games that respond differently based on the emotion. In this paper, a system applying special effects on images based on recognition of six emotions from the facial expressions is proposed. A more friendly content can be produced by applying an appropriate emotional effect on the image loaded by the user with the user's facial expression. The result of this paper can be very appropriate to game scenarios and developing game program stages with the recognition of human emotion.

본 연구는 컬러영상에서 특정소리를 연상시킬 수 있는 공감각 인지현상에 기반하여 컬러이미지에서 음악요소로 변환하는 시스템의 구현을 최종 목표로 한다. 이는 빛과 소리의 물리적 주파수정보사이의 유사도를 기반으로 이루어진다. 입력 컬러영상은 우선 컬러모델변환이론에 기초하여 색상(Hue), 채도(Saturation) 및 명도(Intensity)영역으로 변환된다. 음계, 옥타브, 크기 및 시간길이 등의 음악적 성분들이 HSI 컬러모델의 각 영역으로부터 추출된다. 기본주파수(F0, Fundamental Frequency)는 색상 및 명도 히스토그램에서 추출되고, 크기 및 시간길이성분은 명도와 채도 히스토그램에서 추출된다. 실험에서, 제안된 시스템은 표준 C 및 VC++ 기반에서 실현되었고, 최종적으로 WAV 포맷의 사운드파일이 생성되었다. 시뮬레이션 결과를 통해서 입력 컬러영상에서 추출된 음악적 요소들이 출력 사운드신호에 반영됨을 알 수 있었다.

본 연구는 하나의 감각으로 인해 다른 영역의 감각을 불러일으키는 공감각 현상을 기초로 하여 사운드에서 컬러이미지를 유추하여 생성하는 응용 시스템의 구현을 최종 목표로 한다. 이를 위해 사운드의 특징정보인 기본주파수(F0, Fundamental Frequency)에서 음계(Scale) 및 옥타브(Octave) 성분을 추출한 후, HSI 컬러모델인 색상(Hue), 명도(Intensity) 성분에 각각 매핑한다. 본 논문에서 채도(saturation)값은 고정된 값을 사용한다. 이를 다시 RGB 컬러모델로 변환한 후 최종 BMP 포맷으로 컬러 이미지를 출력한다. 본 연구에서 제시한 사운드-컬러이미지 변환 방법을 토대로 기본 변환 시스템을 구현해 본 결과, 기본주파수에서 추출된 음계 및 옥타브 성분의 변화에 따라 색상 및 명도가 상이한 다양한 컬러가 나오는 것을 확인할 수 있었다. 또한 하드웨어적 구현을 위해 TMS320C6713 DSP Board에 포팅하여 실험한 결과 제안된 시스템의 시뮬레이션 결과와 동일한 컬러 이미지가 출력됨을 확인하였다.