독립형 VR기기가 활발히 개발되기 전 스마트폰을 HMD로 만들려는 움직임이 있었고 구글의 카드보드와 삼 성의 기어 VR이 그 예이다. 하지만 독립형 VR기기의 출시와 모바일 기기의 한계로 현재는 대부분 AR로 전 환되어 사용되었다. 그렇지만 지난 10년간 모바일 VR과 AR의 기술도 발달했지만, 그동안 모바일 기기의 성 능도 향상되었다. 따라서 발달한 기술들을 바탕으로 손 추적을 뛰어넘어 손동작 분류를 모바일 기기에서 기 존의 VR과 AR 콘텐츠와의 상호작용에 활용할 수 있다. 본 논문에서는 Manomotion을 이용하여 2D 또는 3D 의 골격을 추적하고 손동작 분류를 구현했으며 게임을 사용하여 검증하였다.

실생활에서 사용되는 결제 시스템에는 전자 사인 , QR 코드, 바코드들이 사용된다. VR 환경 내에서 구현되어 있는 결제 시스템은 점점 연구가 시작되고 있다. 본 논문은 기존의 결제 시스템을 VR 환경에서 구현하기 위해 손 제스쳐 인식을 이용한 VR 전자사인 시스템을 제안한다. VR 시스템에 서는 키보드를 두드리거나 마우스를 건드릴 수 없는 상황이다. VR 컨트롤러를 가지고 결제 시스템 을 구성하기 위한 방법에는 여러 가지가 있을 수 있다. 손 제스처 인식을 이용한 전자사인이 그 중 하나인데, 손 제스쳐 인식에는 크게 Warping Methods, Statistical Methods, Template Matching 방법 으로 분류할 수 있다. 본 논문에서는 Template Matching 방법에 속한 $p 알고리즘을 이용하여, VR 에서 결제 시스템을 구성하였다. 그리고, VR 환경을 조성하기 위해서 Unity3D와 Vive 장비를 이용 해서 실제 결제가 이루어지는 paypal 시스템을 구현하였다.

본 논문은 임지선의 비올라 협주곡 《새로운 길-윤동주를 기억하며》에 대한 서사적 분석이다. 그러한 분석의 기반으로 필자는 해튼의 제스처론과 마이클 클라인의 상호텍스트성을 통한 서사 이론에 바탕을 두었음을 밝히는 바이다. 필자는 먼저 이 곡의 구조적 분석에 있어서 크게 세 파트로 나눈 후, 이를 다시 여섯 개의 섹션으로 나누었다. 각 파트마다 음악적 제스처들을 설정하고 임지선이 각 파트에서 차용한 곡들과 음악적 제스 처에 부합하다고 여겨지는 윤동주의 시들을 상호텍스트로 설정하여 음악적 제스처들과 연관된 내러 티브를 도출하였다. 이러한 분석을 통해 필자가 구조화한 이 곡의 내러티브는 슬픔, 저항, 희망이다.

아케이드 슈팅게임은 과거 1970년대 후반부터 1990년 후반까지 대중적으로 큰 인기를 끌며 게임시장을 주도했다. 하지만 2000년대 이후 많은 PC와 콘솔의 보급으로 아케이드 게임이 급속도로 쇠퇴하기 시작했다. 하지만 최근 국내에서 하락세를 보였던 아케이드 게임이 크게 상승세를 보였고 앞으로도 점점 상승할 가능성이 높아 보인다. 따라서 본 논문은 아케이드 게임의 특징인 빠른 손동작을 최신 기술과 접목시켜 새로운 입력 방식을 개발함으로 더 높은 효용성을 끌어내어 검증 한다. 기존에 슈팅게임에서의 제스처 인터페이스 사용은 이미 그 효용성이 검증되었다. 다만 좀 더 복잡한 완성형 게임에서의 적용하기엔 미흡한 부분들이 있다. 이에 슈팅게임들의 요소를 좀 더 세분화하여 분석 후 각 요소들을 제스처에 매핑하였다. 기존 게임에선 조이스틱을 손으로 흔들며 진행하는게 일반적인 방식으로 본 게임에선 사용자가 직접 손을 상하좌우로 움직여 조작한다. 또한 진행에 필요한 스킬과 이벤트들을 각각의 매핑 된 제스처 로 인터랙션 한다. 개발된 인터페이스는 슈팅게임 'Cure'에 적용하여 G-Start, HCI creative Award 등에서 전시되었다.

In this paper, it suggests how to input what it needs under gesture based which is able to put its text 3 times faster than an existing way with voice based by a person who is a visually impaired person with a smart device that is flat display without a physical button. The suggesting way is a text input method based on gesture that after setting the touch display of the smart phone to 8 directions, then, it inputs number, English/Korean tests and special characters with initial location and central point of input texts following drag motion of the users or it controls and processes all applications in the smart devices naturally. It tries to prove efficiency of this method through real test to the visually impaired.

정보기술 발전과 함께 스마트폰이나 태블릿PC와 같은 터치스크린 기반의 다양한 휴대용 디바이스가 보급 및 활용되고 있다. 이러한 스마트 기기들은 탭(tab)이나 핀치(pinch)와 같은 단순하고 직관적인 터치 제스처를 활용하고 있다. 본 연구에서는 스마트기기 사용자의 지도 애플리케이션에 대한 접근성 및 편의성을 증대시킬 수 있는 제스처 라이브러리를 구현하여 터치 제스처, 에어 제스처, 조이스틱 제스처 등이 웹지도 제어에 사용하도록 하였다. 이러한 제스처 라이브러리의 가용성 평가를 위하여 프로토타 입 애플리케이션을 제작하여 다양한 제스처 인터페이스의 동작이 원활함을 확인하였다. 본 연구에서 구현한 제스처 라이브러리는 개발자가 사용하기에 편리한 형태의 객체 및 함수로 구성되었기 때문에, 웹지도와의 연동만으로도 다양한 제스처 인터페이스를 갖춘 지도 애플리케이션을 개발할 수 있다. 또한 현재까지 지도 인터페이스로서는 제안되지 않은 형태의 다양한 제스처 기능을 포함하고 있으며, 향후 HTML5 기반으로 확장하여 모바일 운영체제 비의존적인 라이브러리로 기능할 수 있을 것이라 사료된다.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.

Creating avatar animations are tedious and time-consuming task since the desired avatar poses should be specified for each of a large number of keyframes. This paper proposes a fast and handy method to create game character animation contents using the motion data captured from the Kinect sensor. A Kinect sensor captures and saves the human motion. The Kinect sensor provides the motion information in a simple form of coordinates of joint positions. Using the captured motion data we determine the set of bone transforms that makes up the human skeletal animation data. The animation data is utilized to determine the position of all the bones at the current time in the animation. For experimental purpose we create a simple avatar character. We express the character model by the MD5 format, in which the mesh data and animation data are separated. A set of twenty joint positions reflect a snapshot of the character pose. The sets are used to evaluate the bone transform matrices and construct our skeletal animation scheme. We verified our method by appling the captured Kinect motion data to character animation. Our approach provides an easy method for creating avatar animations.

인터넷 통신의 보편화에 따라 멀티미디어 관련 콘텐츠 서비스가 이루어지고 있으며, 이러한 서비스는 교육용 학습 콘텐츠 및 시스템 분야로 확장되고 있다. 고급화된 멀티미디어 학습 시스템을 지원하기 위해 3D 그래픽스 기반의 학습 서비스 시스템이 개발되고 있지만 대부분의 시스템이 마우스와 키보드와 같은 컨트롤 기반의 콘텐츠를 가지고 있어 현실감이 떨어지는 단점이 있다. 본 논문에서는 Kinect를 이용하여 사용자 손 영역을 추출하고, 추출된 사용자 손영역에서 손 제스처를 인식하여 가상공간에서 전자교과서를 선택하고, 열고, 페이지를 넘기는 시스템을 소개한다.

유아용 체감형 게임은 유아 놀이 공간 축소로 인한 안전한 유아 놀이 공간 부족에 대한 해결책 중 하나로 대두되고 있다. 이에 따라 본 연구에서는 유아용 체감형 게임 인터페이스에 활용 가능하고 유아의 동작 특성이 고려된 유아 교육적으로 적합하고 체계적으로 정리된 유아 동작 데이터베이스가 필요성을 제기하고 유아의 상체 동작을 선정하여 데이터베이스를 구축했다. 동작 데이터베이스는 센서와 카메라의 두 디바이스를 모두 사용한 7개의 한 손 동작과 카메라만을 사용한 7개의 두 손 동작 데이터로 구성되었다. 유아 동작 데이터베이스는 각 연령별로 남자 유아 5명, 여자 유아 5명으로 만3세에서 만 5세의 유아 30명을 대상으로 동작이 수집되었다. 데이터베이스는 총 14개 동작을 한 동작마다 3번씩 반복하여 수집하였다. 수집된 데이터베이스는 유아용 체감형 게임에 적용 가능하고 유아가 쉽게 따라하는 것이 가능한 동작들로써 연구용으로 외부에 공개 및 배포되어 유아 대상의 체감형 게임 개발에 도움이 될 것이다.

Lee, Jee-won. 2012. Gesture, Gaze, and Bodily Cues in Mandarin Conversation: Two Case Studies. The Sociolinguistic Journal of Korea 20(1). pp. 213-234. This study uses discourse analysis to illustrate some ways that non-verbal actions such as gaze, facial expression, and gesture work to contextualize the speech delivered in conversation. These bodily cues also enable participants to organize interactions as collaborative creations of meaning rather than simply a turn-by-turn exchange of speech. This study uses two excerpts from Mandarin Chinese conversations to illustrate how non-verbal cues help speakers and recipients to engage in collaborative action with one another. Speakers give recipients information about their stances vis-à-vis the speech they produce, and recipients use this information to manage their reactions to the speech they hear. Non-verbal actions also allow both parties to mutually regulate the flow of conversation. In both examples, it becomes clear that gaze, facial expression, and gesture are important elements of spoken interaction and that conversation as a whole should be understood as a contextual web of meaning that includes speech, body language, and overall social interaction.

가상현실 기술이 발전하면서 체감형 게임분야와 같이 인간의 신체 동작을 게임의 지각적인 조작활동에 반영하는 게임 인터페이스에 대한 관심이 높아지고 있다. 이는 플레이어의 만족도를 향상시키며, 다양하고 새로운 콘텐츠 개발을 가능하게 하기 때문에 이 같은 인터페이스를 모델로 한 사용자 경험에 대한 연구의 중요성이 점차 증대되고 있다. 본 논문에서는 내추럴한 Input 시스템을 사용한 3D 제스처 인터페이스를 제안하고, 이를 사용성 및 만족도 측면에서 닌텐도사(社)의 Wiimote와 비교 분석하였다. 분석 방법으로는 전통적인 인간-컴퓨터 상호작용(Human-Computer Interaction; HCI) 측정 표준으로 효과성(effectiveness), 효율성(efficiency) 및 만족도(satisfaction)를 준거해 사용자의 전반적인 만족도를 검토해 보았다.

This study is to present a female high school summer blouse with high movement functionality and satisfying appearance. For the experimental research 6 subjects with closest average body shapes and their body surface was measured at beginning and after selecting a representative movement the tested uniform was worn and the appearance and movement functionality was evaluated. The results of this research are as follows. In the research with the aims to improve the sleeve designed the height in 3 types as A.H/4+3, A.H/4+2, A.H/4+1 and their evaluation showed that in the order of best appearance was A.H/4+2, A.H/4+1, A.H/4+3. In the order of best comfort was A.H/4+2, A.H/4+3, A.H/4+1 and the best order for movement functionality was A.H/4+1, A.H/4+2, A.H/4+3. Additional height types designed produced from elastic materials were A.H/4+3, A.H/4+2, A.H/4+1 and the resulting order of appearance was A.H/4+3, A.H/4+2, A.H/4+1, order of comfort was A.H/4+3, A.H/4+2, A.H/4+1 and the order of movement functionality was A.H/4+1, A.H/4+2, A.H/4+3. Integrating these results shows that in using the same concurrent materials, the experiment pattern of setting the sleeve height as A.H/4+2 was the best while in using elastic materials, the experiment pattern of setting the sleeve height as A.H/4+3 was the best.

현재의 유비쿼터스 환경의 홈 네트워크 제품 사용자는 단일 사용자가 아닌 다수의 사용자가 사용하는 네트워크 행태를 취하고 있다. 변화하는 사용환경과 시스템들은 현재와는 다른 요구사항을 가지고 있으며, 이에 따른 사용자 중심의 디자인과 제품 인터페이스 체계의 연구활동은 국내외에서 활발하게 이루어지고 있다. 다양한 모바일 디바이스 및 홈 네트워크 제품의 보급화가 빠르게 성장하면서 이를 쉽게 제어하기 위한 다양한 제어방식이 연구되고 있다. 이중 음성인식기술을 비롯한 표정은 안면표정인식기술의 개발이 활발히 진행되고 있다. 모션감지 센서를 활용한 사용자 제스처 콘트롤 체계는 아직까지는 초보적인 단계에 있으나, 제품 제어에 있어서 향후 근미래에는 자연스러운 인터랙티브 인터페이스의 활용도가 높아질 전망이다. 이에 본 연구에서는 효과적인 디바이스 제어를 위한 제스처 유형의 자연스러운 사용언어체계 개발 방법 및 결과 그리고 사용자 맨탈모델와 메타포 실험을 통한 연구내용을 정리하였다. 기존 사용자의 제스처 유형의 자연스러운 사용언어를 분석하면서 디바이스 제어방식으로서 활용 가능성을 검토할 수 있었으며, 동작 감지 카메라 및 센서를 활용한 새로운 디바이스 제어방식 개발과정의 연구를 통하여 제스처 유형의 자연스러운 언어 체계 개발 및 과정을 정립하였다.

The object of language learning is to develop communicative competence. This paper intends to include gesture competence as an indispensable constituent in communicative competence. Gesture competence refers to the comprehension and production of different gestures from each culture. The main purpose of this paper is to place a high value upon the role of gesture competence as an entree accessible to the culture of the target language. This paper serves to help foreign language leamers recognize the importance of gesture competence with which they can speak a foreign language more naturally and more easily.

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위 하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이 터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 ‘Virtual Block’이라는 게임을 구현하여 실험한 결 과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용 자 친화적임을 알 수 있었다.

스마트 디바이스 기술과 함께 화면을 조작하는 터치 인터페이스 방식은 가장 손쉽고 일반적인 사용자 중심으로 발전하였다. 최근에는 별도의 컨트롤러 없이 센서를 통해 사용자의 손의 제스처를 인식하는 비접촉식 인터페이스 구현이 가능해졌다. 이러한 비접촉식 인터페이스는 움직임을 쉽게 제어할 수 있다는 장점이 있으나, 사용자 각각의 섬세한 손의 동작, 속도, 위치에 따라 정보를 정확하게 탐지하기 어렵고 인식 범위를 벗어나면 제어가 어려워 불편함을 줄 수 있다는 단점이 있다. 따라서 본 연구는 사용자 측면에서 이러한 비접촉식 제스처에 대한 연구가 미비하다는 것에 문제의식을 느끼고 현 방법의 단점을 보완 및 극복하기 위하여 논의를 진행하고자한다. 구체적인 연구 방법으로는 다양한 인터페이스 사례 중 자동차의 핵심 요인으로 부각되고 있는 정보 전달 기기인 DID 시스템을 바탕으로, 차량 운전자의 안전한 운행을 도울 수 있는 비접촉식 제스처 인식의 조작 방식과 운전자 만족과의 연관성을 분석하고자한다. 이를 통해 기존의 비접촉식 인터페이스에 비해 더 쉽고 편리하게 조작할 수 있는 차량 제스처 DID를 구성하여 운전자의 안전성을 높이고 차량에는 안전성 개발을 위한 요소를 제시하는 것이 본 연구의 목적이다.

본 논문은 기존 립모션 장비에 홀로그램과 햅틱 장비를 결합함으로써 향상된 몰입감과 사용 용이성을 제공할 수 있는 사용자 인터페이스를 제시한다. 립모션은 사용자 손동작의 물리적 행 동이 직접 가상의 화면상에 영향을 주는 장치인데, 화면상의 가상 손모양을 제어해야 한다는 점과 가상환경에서의 영향을 사용자에게 전달할 수 없다는 한계를 가진다. 우리는 홀로그램을 립모션과 결합시켜 사용자로 하여금 실제 손과 가상 화면을 같은 공간에 배치함으로써 몰입감 을 향상시킨다. 아울러 사용자의 손에 촉각을 전달할 수 있는 햅틱 장비를 장착하여 감각의 상 호 작용을 실현하는 프로타입을 제시한다.

본 연구에서는 윈도우즈 PC용 연속동작 감지 카메라, Xtion을 이용한 PC-윈도우 플랫폼 기반의 연속동작 녹화 및 매칭방법의 개발 내용을 소개한다. 해당 방법을 개발하기 위해 카메라를 통해 얻은 깊이 정보, RGB 화상 정보, 뼈대 정보를 가공하고 비교하는 API를 먼저 개발하였다. 유효관절만을 선택적으로 비교하는 pose 비교 방법이 개발되었으며, 연속동작 비교에서는 pose 사이에 다른 틀린 pose가 섞여도 인식할 수 있는 방법이 개발되었다. 특정 pose나 연속동작 검출을 위해 샘플 데이터를 기록하고 테스트할 수 있는 도구가 개발되었다. 6종류의 다른 pose 및 연속동작을 촬영하고 테스트한 결과, pose는 100%의 인식성공과 연속동작은 99%의 인식성공이 이루어져 개발된 방법의 유용성을 검증할 수 있었다.

Body gesture Recognition has been one of the interested research field for Human-Robot Interaction(HRI). Most of the conventional body gesture recognition algorithms used Hidden Markov Model(HMM) for modeling gestures which have spatio-temporal variabilities. However, HMM-based algorithms have difficulties excluding meaningless gestures. Besides, it is necessary for conventional body gesture recognition algorithms to perform gesture segmentation first, then sends the extracted gesture to the HMM for gesture recognition. This separated system causes time delay between two continuing gestures to be recognized, and it makes the system inappropriate for continuous gesture recognition. To overcome these two limitations, this paper suggests primitive body model encoding, which performs spatio/temporal quantization of motions from human body model and encodes them into predefined primitive codes for each link of a body model, and Selective/Asynchronous Input-Parallel State machine(SAI-PSM) for multiple-simultaneous gesture recognition. The experimental results showed that the proposed gesture recognition system using primitive body model encoding and SAI-PSM can exclude meaningless gestures well from the continuous body model data, while performing multiple-simultaneous gesture recognition without losing recognition rates compared to the previous HMM-based work.