이제는 모바일 마켓순위에서 많은 게임이 높은 점유율을 차지하지만 점유율을 오랫동안 유지 하는 것은 쉽지 않다. 게이머를 끌어당기는 중요한 요소는 게임 재미(Game Fun)이고, 게임을 재미있게 만드는 가장 중요한 요소는 게임 난이도이다. 하지만 게임 난이도를 디자인하는 것은 매우 어려운 일이다. 본 논문은 두 개의 연속적인 컨볼루셔널 레이어를 사용한 컨볼루셔널 신경망과 SVM 분류기를 이용하여 게임 시 플레이어의 얼굴 표정을 실시간으로 검출하고 판단한다. 실험 결론은 CNN을 이용한 표정 시스템은 게임 play-time 및 score를 늘릴 수 있고, 게임 재미를 증진시키기에 도와 준다고 증명하였다.

로봇과 인간의 상호작용에서 언어에 의한 정보 전달은 상호작용의 한계가 있으므로, 더욱 원활하고 효율적인 의사소통과 나아가 로봇의 감정 표현까지 구현하기 위해서는 비언어적 커뮤니케이션이 필요하다. 본 연구에서는 쇼핑을 지원하는 로봇을 전제로 하여 쇼핑 행태에 따른 7가지 비언어적 정보를 도출하였다. 도출된 비언어적 정보의 요소로서 표정을 선정하고, 2D 분석을 통하여 얼굴 구성요소를 코드화 하였다. 얼굴 구성요소의 코드를 조합한 3D 애니메이션을 이용하여 비언어적 정보의 표현에 대한 유의성을 분석하였 다. 분석 결과, 제안된 비언어적 정보의 표현 방법은 높은 수준의 유의성을 보여 비언어적 정보 연구의 기초자료 로서 활용 가능성이 확인되었다. 다만, '당황'의 경우 코드화된 얼굴 구성 요소의 모양 적용에 한계가 있으며 보 다 체계적 연구가 요구된다.

인간의 감정을 인식하는 기술은 많은 응용분야가 있음에도 불구하고 감정 인식의 어려움으로 인해 쉽게 해결 되지 않는 문제로 남아 있다. 인간의 감정 은 크게 영상과 음성을 이용하여 인식이 가능하다. 감정 인식 기술은 영상을 기반으로 하는 방법과 음성을 이용하는 방법 그리고 두 가지를 모두 이용하는 방법으로 많은 연구가 진행 중에 있다. 이 중에 특히 인간의 감정을 가장 보편적으로 표현되는 방식이 얼굴 영상을 이용한 감정 인식 기법에 대한 연구가 활발히 진행 중이다. 그러나 지금까지 사용자의 환경과 이용자 적응에 따라 많은 차이와 오류를 접하게 된다. 본 논문에서는 감정인식률을 향상시키기 위해서는 이용자의 내면적 성향을 이해하고 분석하여 이에 따라 적절한 감정인식의 정확도에 도움을 주어서 감정인식률을 향상시키는 메카니즘을 제안하였으며 본 연구는 이러한 이용자의 내면적 성향을 분석하여 감정 인식 시스템에 적용함으로 얼굴 표정에 따른 감정인식에 대한 오류를 줄이고 향상 시킬 수 있다. 특히 얼굴표정 미약한 이용자와 감정표현에 인색한 이용자에게 좀 더 향 상된 감정인식률을 제공 할 수 있는 방법을 제안하였다.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.

본 연구에서는 얼굴 표정 정서를 인식하는데 있어서 우울 집단과 통제 집단간에 차이가 있는지를 알아보고자 하였다. 연구 대상은 305명의 대학생에게 BDI-II를 실시하여 14점(상위 20%) 이상을 얻은 학생을 우울 집단으로, 5점 이하(하위 20%)를 얻은 학생을 통제 집단으로 선정하였다. 최종적으로 우울 집단 20명, 통제 집단 20명이 분석에 포함되었으며, 이들에게 기쁨, 슬픔, 화남, 두려움의 각 얼굴 표정이 중립에서부터 시작되어 점점 정서 강도가 커지면서 가장 강한 강도의 표정 사진에 이르도록 변하는 자극을 제시하였다. 그 결과, 집단과 정서(특히 기쁨-슬픔 조건)간의 유의한 상호작용 효과가 관찰되었고, 이러한 결과는 우울감이 얼굴 표정과 같은 정서적 정보처리에 영향을 미친다는 것을 의미한다. 우울한 개인의 이러한 정서 일치적 정보 처리 경향이 가지는 함의에 대하여 논의하였다.

본 연구에서는 얼굴표정을 통하여 다른 사람의 정서 상태를 판단하는 능력이 연령(3세, 5세, 대학생), 성별(남, 여), 얼굴제시영역(얼굴전체, 눈), 정서의 종류(기본정서, 복합정서)에 따라 어떻게 다른지 알아보고자 하였다. 본 연구에서는 얼굴표정과 정서어휘 간의 연결이 비교적 분명하게 나타나는 32개의 정서 상태를 자극으로 사용하였으며, 표정사진은 32개의 정서 상태에 해당하는 얼굴표정을 배우에게 연기하도록 하여 사용하였다. 과제는 각 실험참가자에게 정서유발 상황에 대한 이야기를 들려주고 이야기 속의 주인공이 어떤 얼굴표정을 할 것인지를 판단하게 한 후 네 개의 얼굴표정 중에 적절한 것을 선택하도록 한 것이었다. 그 결과 연령이 증가함에 따라 얼굴표정을 판단하는 능력이 증가하였으며, 눈만 제시한 경우보다는 얼굴전체를 제시하였을 때, 복합정서보다는 기본정서에서 더 좋은 수행을 보였다. 또한 여자는 제시영역에 따른 수행의 차이가 없는 것에 반해, 남자는 눈 조건에 비해 얼굴조건의 경우에 더 좋은 수행을 보였다. 본 연구의 결과는 연령, 얼굴제시영역, 정서의 종류가 얼굴표정을 통해 타인의 정서를 판단하는데 영향을 줌을 시사한다.

본 연구에서는 동영상 자극과 정지 영상 자극을 사용하여 얼굴 표정의 영역(얼굴 전체/눈 영역/입 영역)에 따른 정서 상태 전달 효과를 알아보고자 하였다. 동영상 자극은 7초 동안 제시되었으며, 실험 1에서는 12개의 기본 정서에 대한 얼굴 표정 제시 유형과 제시 영역에 따른 정서 인식 효과를, 실험 2에서는 12개의 복합 정서에 대한 얼굴 표정 제시 유형과 제시 영역에 따른 정서 인식 효과를 살펴보았다. 실험 결과, 동영상 조건이 정지 영상 조건보다 더 높은 정서 인식 효과를 보였으며, 입 영역과 비교하였을 때 동영상에서의 눈 영역이 정지 영상 보다 더 큰 효과를 보여 눈의 움직임이 정서 인식에 중요할 것임을 시사하였다. 이는 기본 정서 뿐 아니라 복합 정서에서도 어느 정도 관찰될 수 있는 결과였다. 그럼에도 불구하고 정서의 종류에 따라 동영상의 효과가 달라질 수 있기 때문에 개별 정서별 분석이 필요하며, 또한, 얼굴의 특정 영역에 따라서도 상대적으로 잘 나타나는 정서 특성이 다를 수 있음을 사사해 준다.

본 논문은 얼굴인식 분야에 있어서 필수 과정인 얼굴 및 얼굴의 주요소인 눈과 입의 추출에 관한 방법을 제시한다. 얼굴 영역 추출은 복잡한 배경하에서 움직임 정보나 색상정보를 사용하지 않고 통계적인 모델에 기반한 일종의 형찬정합 방법을 사용하였다. 통계적인 모델은 입력된 얼굴 영상들의 Hotelling변환 과정에서 생성되는 고유 얼굴로, 복잡한 얼굴 영상을 몇 개의 주성분 갑으로 나타낼 수 있게 한다. 얼굴의 크기, 영상의 명암, 얼굴의 위치에 무관하게 얼굴을 추출하기 위해서, 단계적인 크기를 가지는 탐색 윈도우를 이용하여 영상을 검색하고 영상 강화 기법을 적용한 후, 영상을 고유얼굴 공간으로 투영하고 복원하는 과정을 통해 얼굴을 추출한다. 얼굴 요소의 추출은 각 요소별 특성을 고려한 엣지 추출과 이진화에 따른 프로젝션 히스토그램 분석에 의하여 눈과 입의 경계영역을 추출한다. 얼굴 영상에 관련된 윤곽선 추출에 관한 기존의 연구에서 주로 기하학적인 모양을 갖는 눈과 입의 경우에는 주로 가변 템플릿(Deformable Template)방법을 사용하여 특징을 추출하고, 비교적 다양한 모양을 갖는 눈썹, 얼굴 윤곽선 추출에는 스네이크(Snakes: Active Contour Model)를 이용하는 연구들이 이루어지고 있는데, 본 논문에서는 이러한 기존의 연구와는 달리 스네이크를 이용하여 적절한 파라미터의 선택과 에너지함수를 정의하여 눈과 입의 윤곽선 추출을 실험하였다. 복잡한 배경하에서 얼굴 영역의 추출, 추출된 얼굴 영역에서 눈과 입의 영역 추출 및 윤곽선 추출이 비교적 좋은 결과를 보이고 있다.

컴퓨터 하드웨어 기술과 멀티미디어 기술의 발달로 멀티미디어 입출력 장치를 이용한 고급 인터메이스의 필요성이 대두되었다. 친근감 있는 사용자 인터페이스를 제공하기 위해 실감 있는 얼굴 애니메이션에 대한 요구가 증대되고 있다. 본 논문에서는 사람의 내적 상태를 잘 표현하는 얼굴의 표정을 3차원 모델을 이용하여 애니메이션을 수행한다. 애니메이션에 실재감을 더하기 위해 실제 얼굴 영상을 사용하여 3차원의 얼굴 모델을 변형하고, 여러 방향에서 얻은 얼굴 영상을 이용하여 텍스터 매핑을 한다. 변형된 3차원 모델을 이용하여 얼굴 표정을 애니메이션 하기 위해서 해부학에 기반한 Waters의 근육 모델을 수정하여 사용한다. 그리고, Ekman이 제안한 대표적인 6가지 표정들을 합성한다.

본 논문은 얼굴의 표정과 몸 동작을 광학식 동작 포착장비를 활용하여 동시에 포착하는 경우에 있어 얼굴 부위 마커들에 대한 노이즈에 강건한 데이터 처리 방법에 대해 다룬다. 일반적인 얼굴 표정만 포착하는 경우와 달리, 몸의 움직임과 동시에 포착할 경우 포착용 카메라가 멀리 있어 얼굴에 붙인 마커들의 궤적 데이터는 특별한 처리를 요한다. 특히 궤적의 표식화, 빈 곳 메우기, 노이즈 제거의 과정이 필수적이며, 이러한 과정을 위해 본 논문에서는 지역좌표에 기반을 둔 궤적 데이터 처리 방법을 제안한다. 지역 좌표는 강체변형에 불변한 특징이 있으며, 얼굴모양의 국지적인 변화를 의미하여, 궤적 데이터처리에 효과적으로 활용 될 수 있음을 보였다. 또한 제안한 방법을 활용하여 애니메이션을 제작해 실제 제작 환경에 적용 가능함을 보였다.

Nowadays, many robots have evolved to imitate human social skills such that sociable interaction with humans is possible. Socially interactive robots require abilities different from that of conventional robots. For instance, human-robot interactions are accompanied by emotion similar to human-human interactions. Robot emotional expression is thus very important for humans. This is particularly true for facial expressions, which play an important role in communication amongst other non-verbal forms. In this paper, we introduce a method of creating lifelike facial expressions in robots using variation of affect values which consist of the robot’s emotions based on emotional boundaries. The proposed method was examined by experiments of two facial robot simulators.

본 논문에서는 스켈레톤(skeleton)의 리깅(rigging)방식을 사용하여 해부학을 기초로 한 14개의 표정근과 동일한 기능을 수행하게 얼굴의 표정을 표현하는 SSFE(Skeleton System for Facial Expression)를 제안한다. SSFE는 3차원애니메이션저작도구(MAYA 8.5)에서 제공하는 스켈레톤을 Deformer로 이용하여 메시모델(mesh model)의 눈, 코, 입 주변의 얼굴표정을 단위 동작별로 구분하여 조합하여 얼굴표정을 만들어 내는 방식이다. 이 결과, SSFE식 스켈레톤은 다른 모델에 무한대로 변형하여 재활용 할 수 있게 해준다. 이러한 재활용성은 애니메이션의 제작방식의 OSMU(One Source Multi Use)로 이해 될 수 있으며 애니메이션의 제작비용을 줄일 수 있는 대체방식이다. 또한 3차원 애니메이션 관련업체 즉 가상현실이나 게임, 제작에 활용될 수 있다.

컴퓨터 기술의 발전에 따라서 게임분야 역시 다양한 첨단 기술이 적용되고 있다. 예를 들면 강력한 3D가속 기능을 가진 비디오카드, 5.1 채널 사운드, 포스피드백 지원 입력 장치, 운전대, 적외선 센서, 음성 감지기 등이 게임의 입출력 인터페이스로서 이용되고 있다. 전형적인 방법 이외에도 광학방식이나 휴대용 게임기에 대한 플레이 방식에 대한 연구도 활발하다. 최근에는 비디오 게임기에도 사람의 동작을 인식하여 게임의 입력으로 받아들이는 기술이 상용화되기도 하였다. 본 논문에서는 이런 발전 방향을 고려하여 차세대 게임 인터페이스의 방식으로서 사용될 수 있는 사람의 표정 인식을 통한 인터페이스 구현을 위한 접근 방법들에 대하여 고찰을 하고자 한다. 사람의 표정을 입력으로 사용하는 게임은 심리적인 변화를 게임에 적용시킬 수 있으며, 유아나 장애자들이 게임을 플레이하기 위한 수단으로도 유용하게 사용될 수 있다. 영상을 통한 자동 얼굴 인식 및 분석 기술은 다양한 응용분야에 적용될 수 있는 관계로 많은 연구가 진행되어 왔다. 얼굴 인식은 동영상이나 정지영상과 같은 영상의 형태, 해상도, 조명의 정도 등에 따른 요소에 의하여 인식률이나 인식의 목적이 달라진다. 게임플레이어의 표정인식을 위해서는 얼굴의 정확한 인식 방법을 필요로 하며, 이를 위한 비교적 최근의 연구 동향을 살펴보고자 한다.