독립형 VR기기가 활발히 개발되기 전 스마트폰을 HMD로 만들려는 움직임이 있었고 구글의 카드보드와 삼 성의 기어 VR이 그 예이다. 하지만 독립형 VR기기의 출시와 모바일 기기의 한계로 현재는 대부분 AR로 전 환되어 사용되었다. 그렇지만 지난 10년간 모바일 VR과 AR의 기술도 발달했지만, 그동안 모바일 기기의 성 능도 향상되었다. 따라서 발달한 기술들을 바탕으로 손 추적을 뛰어넘어 손동작 분류를 모바일 기기에서 기 존의 VR과 AR 콘텐츠와의 상호작용에 활용할 수 있다. 본 논문에서는 Manomotion을 이용하여 2D 또는 3D 의 골격을 추적하고 손동작 분류를 구현했으며 게임을 사용하여 검증하였다.

본 논문은 임지선의 비올라 협주곡 《새로운 길-윤동주를 기억하며》에 대한 서사적 분석이다. 그러한 분석의 기반으로 필자는 해튼의 제스처론과 마이클 클라인의 상호텍스트성을 통한 서사 이론에 바탕을 두었음을 밝히는 바이다. 필자는 먼저 이 곡의 구조적 분석에 있어서 크게 세 파트로 나눈 후, 이를 다시 여섯 개의 섹션으로 나누었다. 각 파트마다 음악적 제스처들을 설정하고 임지선이 각 파트에서 차용한 곡들과 음악적 제스 처에 부합하다고 여겨지는 윤동주의 시들을 상호텍스트로 설정하여 음악적 제스처들과 연관된 내러 티브를 도출하였다. 이러한 분석을 통해 필자가 구조화한 이 곡의 내러티브는 슬픔, 저항, 희망이다.

아케이드 슈팅게임은 과거 1970년대 후반부터 1990년 후반까지 대중적으로 큰 인기를 끌며 게임시장을 주도했다. 하지만 2000년대 이후 많은 PC와 콘솔의 보급으로 아케이드 게임이 급속도로 쇠퇴하기 시작했다. 하지만 최근 국내에서 하락세를 보였던 아케이드 게임이 크게 상승세를 보였고 앞으로도 점점 상승할 가능성이 높아 보인다. 따라서 본 논문은 아케이드 게임의 특징인 빠른 손동작을 최신 기술과 접목시켜 새로운 입력 방식을 개발함으로 더 높은 효용성을 끌어내어 검증 한다. 기존에 슈팅게임에서의 제스처 인터페이스 사용은 이미 그 효용성이 검증되었다. 다만 좀 더 복잡한 완성형 게임에서의 적용하기엔 미흡한 부분들이 있다. 이에 슈팅게임들의 요소를 좀 더 세분화하여 분석 후 각 요소들을 제스처에 매핑하였다. 기존 게임에선 조이스틱을 손으로 흔들며 진행하는게 일반적인 방식으로 본 게임에선 사용자가 직접 손을 상하좌우로 움직여 조작한다. 또한 진행에 필요한 스킬과 이벤트들을 각각의 매핑 된 제스처 로 인터랙션 한다. 개발된 인터페이스는 슈팅게임 'Cure'에 적용하여 G-Start, HCI creative Award 등에서 전시되었다.

정보기술 발전과 함께 스마트폰이나 태블릿PC와 같은 터치스크린 기반의 다양한 휴대용 디바이스가 보급 및 활용되고 있다. 이러한 스마트 기기들은 탭(tab)이나 핀치(pinch)와 같은 단순하고 직관적인 터치 제스처를 활용하고 있다. 본 연구에서는 스마트기기 사용자의 지도 애플리케이션에 대한 접근성 및 편의성을 증대시킬 수 있는 제스처 라이브러리를 구현하여 터치 제스처, 에어 제스처, 조이스틱 제스처 등이 웹지도 제어에 사용하도록 하였다. 이러한 제스처 라이브러리의 가용성 평가를 위하여 프로토타 입 애플리케이션을 제작하여 다양한 제스처 인터페이스의 동작이 원활함을 확인하였다. 본 연구에서 구현한 제스처 라이브러리는 개발자가 사용하기에 편리한 형태의 객체 및 함수로 구성되었기 때문에, 웹지도와의 연동만으로도 다양한 제스처 인터페이스를 갖춘 지도 애플리케이션을 개발할 수 있다. 또한 현재까지 지도 인터페이스로서는 제안되지 않은 형태의 다양한 제스처 기능을 포함하고 있으며, 향후 HTML5 기반으로 확장하여 모바일 운영체제 비의존적인 라이브러리로 기능할 수 있을 것이라 사료된다.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.

인터넷 통신의 보편화에 따라 멀티미디어 관련 콘텐츠 서비스가 이루어지고 있으며, 이러한 서비스는 교육용 학습 콘텐츠 및 시스템 분야로 확장되고 있다. 고급화된 멀티미디어 학습 시스템을 지원하기 위해 3D 그래픽스 기반의 학습 서비스 시스템이 개발되고 있지만 대부분의 시스템이 마우스와 키보드와 같은 컨트롤 기반의 콘텐츠를 가지고 있어 현실감이 떨어지는 단점이 있다. 본 논문에서는 Kinect를 이용하여 사용자 손 영역을 추출하고, 추출된 사용자 손영역에서 손 제스처를 인식하여 가상공간에서 전자교과서를 선택하고, 열고, 페이지를 넘기는 시스템을 소개한다.

가상현실 기술이 발전하면서 체감형 게임분야와 같이 인간의 신체 동작을 게임의 지각적인 조작활동에 반영하는 게임 인터페이스에 대한 관심이 높아지고 있다. 이는 플레이어의 만족도를 향상시키며, 다양하고 새로운 콘텐츠 개발을 가능하게 하기 때문에 이 같은 인터페이스를 모델로 한 사용자 경험에 대한 연구의 중요성이 점차 증대되고 있다. 본 논문에서는 내추럴한 Input 시스템을 사용한 3D 제스처 인터페이스를 제안하고, 이를 사용성 및 만족도 측면에서 닌텐도사(社)의 Wiimote와 비교 분석하였다. 분석 방법으로는 전통적인 인간-컴퓨터 상호작용(Human-Computer Interaction; HCI) 측정 표준으로 효과성(effectiveness), 효율성(efficiency) 및 만족도(satisfaction)를 준거해 사용자의 전반적인 만족도를 검토해 보았다.

현재의 유비쿼터스 환경의 홈 네트워크 제품 사용자는 단일 사용자가 아닌 다수의 사용자가 사용하는 네트워크 행태를 취하고 있다. 변화하는 사용환경과 시스템들은 현재와는 다른 요구사항을 가지고 있으며, 이에 따른 사용자 중심의 디자인과 제품 인터페이스 체계의 연구활동은 국내외에서 활발하게 이루어지고 있다. 다양한 모바일 디바이스 및 홈 네트워크 제품의 보급화가 빠르게 성장하면서 이를 쉽게 제어하기 위한 다양한 제어방식이 연구되고 있다. 이중 음성인식기술을 비롯한 표정은 안면표정인식기술의 개발이 활발히 진행되고 있다. 모션감지 센서를 활용한 사용자 제스처 콘트롤 체계는 아직까지는 초보적인 단계에 있으나, 제품 제어에 있어서 향후 근미래에는 자연스러운 인터랙티브 인터페이스의 활용도가 높아질 전망이다. 이에 본 연구에서는 효과적인 디바이스 제어를 위한 제스처 유형의 자연스러운 사용언어체계 개발 방법 및 결과 그리고 사용자 맨탈모델와 메타포 실험을 통한 연구내용을 정리하였다. 기존 사용자의 제스처 유형의 자연스러운 사용언어를 분석하면서 디바이스 제어방식으로서 활용 가능성을 검토할 수 있었으며, 동작 감지 카메라 및 센서를 활용한 새로운 디바이스 제어방식 개발과정의 연구를 통하여 제스처 유형의 자연스러운 언어 체계 개발 및 과정을 정립하였다.

The object of language learning is to develop communicative competence. This paper intends to include gesture competence as an indispensable constituent in communicative competence. Gesture competence refers to the comprehension and production of different gestures from each culture. The main purpose of this paper is to place a high value upon the role of gesture competence as an entree accessible to the culture of the target language. This paper serves to help foreign language leamers recognize the importance of gesture competence with which they can speak a foreign language more naturally and more easily.

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위 하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이 터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 ‘Virtual Block’이라는 게임을 구현하여 실험한 결 과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용 자 친화적임을 알 수 있었다.

스마트 디바이스 기술과 함께 화면을 조작하는 터치 인터페이스 방식은 가장 손쉽고 일반적인 사용자 중심으로 발전하였다. 최근에는 별도의 컨트롤러 없이 센서를 통해 사용자의 손의 제스처를 인식하는 비접촉식 인터페이스 구현이 가능해졌다. 이러한 비접촉식 인터페이스는 움직임을 쉽게 제어할 수 있다는 장점이 있으나, 사용자 각각의 섬세한 손의 동작, 속도, 위치에 따라 정보를 정확하게 탐지하기 어렵고 인식 범위를 벗어나면 제어가 어려워 불편함을 줄 수 있다는 단점이 있다. 따라서 본 연구는 사용자 측면에서 이러한 비접촉식 제스처에 대한 연구가 미비하다는 것에 문제의식을 느끼고 현 방법의 단점을 보완 및 극복하기 위하여 논의를 진행하고자한다. 구체적인 연구 방법으로는 다양한 인터페이스 사례 중 자동차의 핵심 요인으로 부각되고 있는 정보 전달 기기인 DID 시스템을 바탕으로, 차량 운전자의 안전한 운행을 도울 수 있는 비접촉식 제스처 인식의 조작 방식과 운전자 만족과의 연관성을 분석하고자한다. 이를 통해 기존의 비접촉식 인터페이스에 비해 더 쉽고 편리하게 조작할 수 있는 차량 제스처 DID를 구성하여 운전자의 안전성을 높이고 차량에는 안전성 개발을 위한 요소를 제시하는 것이 본 연구의 목적이다.

Body gesture Recognition has been one of the interested research field for Human-Robot Interaction(HRI). Most of the conventional body gesture recognition algorithms used Hidden Markov Model(HMM) for modeling gestures which have spatio-temporal variabilities. However, HMM-based algorithms have difficulties excluding meaningless gestures. Besides, it is necessary for conventional body gesture recognition algorithms to perform gesture segmentation first, then sends the extracted gesture to the HMM for gesture recognition. This separated system causes time delay between two continuing gestures to be recognized, and it makes the system inappropriate for continuous gesture recognition. To overcome these two limitations, this paper suggests primitive body model encoding, which performs spatio/temporal quantization of motions from human body model and encodes them into predefined primitive codes for each link of a body model, and Selective/Asynchronous Input-Parallel State machine(SAI-PSM) for multiple-simultaneous gesture recognition. The experimental results showed that the proposed gesture recognition system using primitive body model encoding and SAI-PSM can exclude meaningless gestures well from the continuous body model data, while performing multiple-simultaneous gesture recognition without losing recognition rates compared to the previous HMM-based work.

본 논문은 치매 예방을 위한 제스처 인식 기반 3D기능성 게임을 제안한다. 제안된 기능성 게임은 전신 제스처 인식을 이용함으로써 사용자의 두뇌 사용능력과 신체활동성을 증가시켜 치매 예방의 효과를 향상시킬 수 있도록 하였다. 기존에 개발된 제스처 인식 기술에 사용된 카메라들은 인식률과 가동영역이 한계적이다. 보다 안정적인 전신 제스처인식을 위해 3D depth 카메라로부터 사용자를 인식하고 사용자의 관절 정보를 획득하였으며 관절의 움직임을 분석하여 전신 제스처를 인식하였다. 게임 콘텐츠로는 치매의 대표적인 원인인 뇌세포의 퇴화에 초점을 맞춰 기억력, 논리력, 산술능력, 공간인지능력 등을 훈련할 수 있도록 구성하였다. 사용자 별로 게임 결과를 저장하고 분석하여 인지능력 향상 정도를 측정할 수 있도록 하였다.

플레이어의 움직임을 직접 반영하는 체감형 게임은 키보드와 마우스를 사용하는 일반적인 컴퓨터 게임에서 느낄 수 없는 실감난 조작법과 몰입감을 제공한다. 우리는 플레이어에게 기존의 게임과 다른 재미를 주기 위해 사용자의 스윙이 반영되는 체감형 탁구게임을 제작했다. 이 때, 사용자가 휘두르는 실제 라켓을 가상 공간으로 옮겨서 가상 공간의 공을 칠 수 있게 하기 위해서는 실세계 탁구라켓의 공간정보를 가상세계 공간에 맵핑 해야 한다. 한 대의 카메라를 사용하는 환경에서 오브젝트 추출이나 색깔정보만으로는 체감형 탁구게임에서 요구하는 정확한 공간 정보를 얻을 수 없다. 그래서 Augmented Reality (AR) 기술을 게임 개발에 사용했다. 그리고 시스템이 플레이어의 간단한 제스처를 인식해서 게임에서 필요한 부과적인 입력처리를 가능하도록 했고, 빠르고 간단하게 사용자의 제스처를 인식하기 위해서 스캔라인 방식을 사용했다. 본 논문은 비전기반의 AR과 제스처 인식을 사용하는 실감형 탁구게임을 제안한다.