소셜 네트워크는 우리 일상 생활의 필수적인 부분이 되었다. 소셜 미디어 정보에 대한 정서 분석은 소셜 네 트워킹 사이트에 대한 사람들의 견해, 태도, 감정을 이해하는 데 도움이 된다. 전통적인 정서 분석은 주로 텍 스트에 의존한다. 스마트폰이 등장하면서 문자뿐만 아니라 이미지 등 네트워크 상의 정보도 점차 다양해지고 있다. 많은 경우 이미지가 감정을 독립적으로 표현하기 보다는 텍스트를 향상시킬 수 있다는 것이 밝혀졌습 니다. 우리는 새로운 이미지 텍스트 정서 분석 모델(LSTM-VAA)을 제안한다. 구체적으로 이 모델은 사진 정보 를 직접 입력으로 가져가지 않고 VGG16 네트워크를 사용하여 이미지 특징을 추출한 다음 시각적 측면 주의 를 생성하고 문서의 핵심 문장에 더 높은 가중치를 부여하고 시각적 측면 주의를 기반으로 문서 표현을 얻 는다. 또한, 우리는 LSTM 네트워크를 사용하여 텍스트 감성을 추출하고 텍스트만을 기반으로 문서 표현을 얻 는다. 마지막으로, 우리는 두 분류 결과 그룹을 통합하여 최종 분류 레이블을 얻는다. 옐프 레스토랑 리뷰 데 이터 세트에서, 우리의 모델은 감정 분류를 위한 시각 주의 보조 텍스트로 시각 정보를 사용하는 것의 효과 를 검증하는 BiGRU-m VGG보다 18.92% 높은 62.08%의 정확도를 달성한다. 비스타넷 모델보다 0.32% 높아 비스타넷 모델의 이미지가 텍스트를 완전히 커버할 수 없는 결함을 LSTM 모델이 효과적으로 보완할 수 있 음을 입증했다.

본 논문에서는 Russell (1980)의 감정차원 모델(Circumplex Model)을 확장하여 새로운 감정차원 모델링 방식을 제안한다. 기존의 감정차원 중 가장 대표적인 Russell의 모델은 각성(Arousal), 정서가(Valence)의 2개의 축을 이용하여 감정을 나타낸다. 하지만 기존의 연구에서는 Russell의 감정차원은 감정을 하나의 점으로만 표현하기 때문에 정확한 위치라고 할 수 없으며 감성과학, HCI, Ergonomics 등의 공학 분야에서 사용하기 어렵다고 주장하였다. 따라서 본 논문에서는 Russell의 감정차원 위에 감정들을 하나의 점으로 표현하지 않고, 데이터 분포를 가정하여 영역으로 표현하 는 방법을 제안한다. 실제 설문을 진행하여 자료를 수집하였고, 타원의 방정식을 이용하여 영역을 수식화하였다. 또한, 마지막 장에서 실제 많은 연구에서 사용되는 ANEW와 IAPS 데이터를 패턴인식 알고리즘을 통해 본 논문에서 제안한 모델에 적용해 보았다. 본 논문에서는 새로운 모델링 방법을 통해 기존의 연구자들에게 지적된 Russell 모델의 문제점을 보완하고, 이 모델을 공학 분야에서도 쉽게 적용할 수 있었다.

The purpose of the study is to examine the effect of VMD image appropriateness in apparel shopping contexts. Two competing models are utilized. The first model is developed from the emotion-cognition theory which explains that environmental cues(i.e., VMD image appropriateness) generate consumers' emotion, and in turn, consumers' behaviors. The second model is developed based on the cognitive theory of emotions and posits that environmental cues stimulates consumers' cognitive perceptions of retail environments, subsequently influencing consumers' emotional and behavioral response. A 2(VMD image appropriateness: high vs. low) between-subjects factorial design experiment was conducted. Female college students(n=592) participated in the experiment. Using structural equation modeling the study found that the emotion-cognition model better explains the effect of VMD image appropriateness on consumers' emotional, cognitive, and behavioral responses.

감정은 수량, 크기, 종류를 측정하기 어려워 언어로 표현하는데 한계가 있다. 세익스피어의 '햄릿'에서 주인공 햄릿의 경우 여러 가지 극적인 상황으로 인해 말로 표현하기 힘든 감정 상태를 가진다. 따라서 본 논문은 현재의 감정 상태를 말 대신 위치와 색으로 시각화하여 표현하는 인공감정을 제안하고, 이를 이용하여 '햄릿'에 나오는 등장인물들의 감정을 시각화했다. 제안된 인공감정은 네 단계에 걸쳐 구성된다. 첫 번째 단계에선 감정을 인과관계에 따라 분석하여 어떤 종류의 감정자극이 얼마만큼 들어왔는지 분석한다. 두 번째 단계에선, 감정의 생성과 소멸을 표현하는 단위감정그래프를 제안하고, 이를 통해 들어온 감정 자극의 생성, 유지, 소멸을 성격에 따라 표현한다. 세 번째 단계에선 단위감정그래프를 이용하여 같은 종류의 연속된 감정자극을 표현하는 감정그래프를 제안한다. 그리고 감정별로 감정그래프를 하나씩 둬서 각 감정들의 생성과 소멸을 개별적으로 관리한다. 네 번째 단계에선 서로 다른 감정 간의 상호관계에 따라 감정별 감정그래프의 현재 감정을 복합하는 감정장을 제안하고, 감정장상의 위치와 위치에 따른 색으로 현재의 감정 상태를 표현한다. 제안된 인공감정으로 감정상태의 변화를 시각화해보기 위해 '햄릿'에서 등장인물인 햄릿과 거트루드의 감정변화를 인공감정을 통해 시각화하였다.

This paper introduces a design of multi-dimensional complex emotional model for various complex emotional expression. It is a novel approach to design an emotional model by comparison with conventional emotional model which used a three-dimensional emotional space with some problems; the discontinuity of emotions, the simple emotional expression, and the necessity of re-designing the emotional model for each robot. To solve these problems, we have designed an emotional model. It uses a multi-dimensional emotional space for the continuity of emotion. A linear model design is used for reusability of the emotional model. It has the personality for various emotional results although it gets same inputs. To demonstrate the effectiveness of our model, we have tested with a human friendly robot.

This paper proposes an emotional interaction model between human and robot using an android. An android is a sort of humanoid robot that the outward shape of robot is almost the same as that of human. The android is a robot platform to implement and test emotional expressions and human interaction. In order to behave for the android like human, a structure of internal emotion system is very important. In our research, we propose a novel emotional model of android based on biological hormone and emotion space. Proposed emotion model has an advantage that it can represent emotion change as time by hormone dynamics.

Humanoid and android robots are emerging as a trend shifts from industrial robot to personal robot. So human-robot interaction will increase. Ultimate objective of humanoid and android would be a robot like a human. In this aspect, implementation of robot’s facial expression is necessary in making a human-like robot. This paper proposes a dynamic emotion model for a mascot-type robot to display similar facial and more recognizable expressions.

Emotion interaction between human and robot is an important element for natural interaction especially for service robot. We propose a hybrid emotion generation architecture and detailed design of reactive process in the architecture based on insight about human emotion system. Reactive emotion generation is to increase task performance and believability of the service robot. Experiment result shows that it seems possible for the reactive process to function for those purposes, and reciprocal interaction between different layers is important for proper functioning of robot’s emotion generation system.