본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

본 논문은 게임에 대한 사용자의 직접적인 행동제어 방법보다는 사용 습관의 변화에 대한 적절 한 보상을 제시함으로 올바른 사용을 유도하고자 하였다. 본 연구에서는 제시된 보상의 몰입 효과 를 분석하여 보상 효과를 검증하였다. 24명의 초등학생들이 실험에 참여하였다. 피험자에게 제공 한 태스크(task)는 산술 게임이며, 결과에 따라 4종류의 보상(보상없음, 칭찬카드, 업적 스티커, 현 금)의 효과를 분석하였다. 산술 게임하는 동안에는 심장 반응과 보상에 대한 주관 만족도를 측정 하였다. 결과적으로, 보상이 없는 경우는 교감, 부교감의 비활성화를 나타내었으며, 칭찬카드를 제 시했을 경우, 교감 및 부교감 활성화를 확인하였다. 즉, 칭찬카드가 다른 보상보다도 가장 몰입 및 만족도가 크다는 것을 확인할 수 있었다. 하지만, 보상에 따른 주관적인 만족도에서는 보상없음과 보상을 제시한 경우의 통계적 유의한 차이는 있었지만, 보상간의 차이는 확인할 수 없었다.

최근 청소년들의 인터넷 및 스마트폰 과도한 사용이 사회적 이슈가 되어왔다. 작업에 대한 몰입 수 준은 좋은 결과물을 만들 수 있는 긍정적 효과와 과 몰입 같은 부정적 효과를 모두 가지고 있다. 본 연구는 심혈관 반응 기반의 몰입 상태를 판단하는 알고리즘을 개발하고자 하였다. 피험자들은 무 자극 상태, 그리고 몰입을 유발하기 위한 패턴 맞추기 게임을 수행하였고, 몰입 수준을 제공하기 위해 협력 과 경쟁 태스크로 나누어 실험 디자인 하였다. 각 태스크에 따라 심박과 진폭의 상관성을 분석하고 다 항식 회귀 분석을 통해 회귀식 및 정확도를 확인하였다. 결과는 게임 태스크일 때, 심박과 진폭은 양 의 상관성을 보였으며 무자극일 때 음의 상관성을 보였다. 개발된 다차항 회귀식으로 게임 태스크와 무 자극을 구분하는 정확도는 평균 89%의 정확도를 보였다. 태스크간의 차이는 76.5% 정확도를 확인 하였다. 본 연구는 실시간으로 몰입 수준을 정량적으로 평가하는데 사용될 수 있을 것으로 기대된다.