Lightweight face recognition models, as one of the most popular and long-standing topics in the field of computer vision, has achieved vigorous development and has been widely used in many real-world applications due to fewer number of parameters, lower floating-point operations, and smaller model size. However, few surveys reviewed lightweight models and reimplemented these lightweight models by using the same calculating resource and training dataset. In this survey article, we present a comprehensive review about the recent research advances on the end-to-end efficient lightweight face recognition models and reimplement several of the most popular models. To start with, we introduce the overview of face recognition with lightweight models. Then, based on the construction of models, we categorize the lightweight models into: (1) artificially designing lightweight FR models, (2) pruned models to face recognition, (3) efficient automatic neural network architecture design based on neural architecture searching, (4) Knowledge distillation and (5) low-rank decomposition. As an example, we also introduce the SqueezeFaceNet and EfficientFaceNet by pruning SqueezeNet and EfficientNet. Additionally, we reimplement and present a detailed performance comparison of different lightweight models on the nine different test benchmarks. At last, the challenges and future works are provided. There are three main contributions in our survey: firstly, the categorized lightweight models can be conveniently identified so that we can explore new lightweight models for face recognition; secondly, the comprehensive performance comparisons are carried out so that ones can choose models when a state-of-the-art end-to-end face recognition system is deployed on mobile devices; thirdly, the challenges and future trends are stated to inspire our future works.

목적: 부등시안과 모노비전 상태의 중간거리 시각 인식 반응을 이해하고자 시각피질에서 발생하는 event related potentials (ERP) 변화를 확인하였다. 방법 : 15명의 젊은 성인(23.00±1.60세)을 대상으로 하였으며, 단안 시력 0.00 logMAR 이하, -2.00 D 미만의 근시안, -0.75 D 이상의 난시안, 0.50 D 이상의 부등시안, 조절력이 비정상적인자, 시력교정술을 받은 자는 제외하였다. 유발 부등시는 비우세안에 굴절교정도수에 +1.00 D, +2.00 D를 가입한 콘택트렌즈로 유발시켰다. 자극은 모니터에 무표정과 슬픈 표정의 얼굴 자극을 제시한 후 NeuroScan SynAmps 2 프로그램을 사용하여 ERP를 기록하였고 초기 시각반응과 관련 있는 P100과 인식 반응과 관련 있는 N170의 amplitude와 latency 값을 추출하여 비교하였다. 결과 : 단안 상태에서는 초기 시각반응에 속하는 P100 amplitude는 1.00과 2.00 D의 유발 부등시안에서 우세안보다 더 강하게 나타났고(p=0.030, p=0.020), 얼굴 자극을 인식하는 N170 amplitudes는 1.00과 2.00 D 유발부등시안에서 우세안보다 낮게 나타났다(p=0.010, p=0.040). 양안 상태에서 1.000과 2.00 D 유발부등시안의 N170 amplitude는 동등비정시안(isometropia)보다 작았고 (p=0.010) 자극을 처리하는 시간에 해당하는 N170 latency는 길었다(p=0.010). 결론 : 유발부등시 비우세안에서는 우세안보다 초기시각 반응이 더 강하게 나타나고, 인식에 필요한 시간은 길었다. 양안 상태에서 유발부등시는 동등비정시와 비교하여 초기 시자극은 차이가 없지만 인식과정에서 자극이 약하고 인식에 필요한 시간은 더 긴 것으로 나타났다. 본 연구는 부등시안의 시각인식 반응에 대한 정보를 제공하고, 모노비전의 시각인지 과정을 이해하는데 도움을 줄 것으로 기대한다.

본 연구는 자기공명영상 기법을 이용하여 알코올 중독자의 정서 인식과 관련된 뇌 활성화 특성을 관찰하였다. 입원치료 중인 알코올 중독자 18명과 이들과 나이, 성별, 교육 수준 등이 유사한 비중독자 16명이 실험에 참여하였다. 참여자들은 뇌 영상 촬영 동안에 얼굴 사진을 보고 얼굴 표정 정서의 강도를 평정하였다. 연구 결과, 행동 반응에서는 알코올 중독자와 비중독자 간에 유의한 차이는 나타나지 않았다. 뇌 반응 결과, 알코올 집단에서는 비중독자 집단과 비교하여 얼굴 표정 정서 인식 동안에 정서 처리와 관련된 편도체/해마는 더 적게 활성화되었으며, 얼굴 정보 처리와 관련된 방추이랑, 시·공간 탐색과 관련된 이마엽 및 마루엽 영역은 더 크게 활성화되었다. 반면, 알코올 집단에서 혀이랑/방추이랑(BA 19), 시각적 탐색에 관여하는 가운데이마이랑(BA 8/9/46), 그리고 시공간적 정보 처리에 관여하는 위마루소엽(BA 7)이 더 크게 활성화 되었다. 본 연구를 통해 알코올 중독자의 정서 인식과 관련된 뇌 활성화 특성을 확인할 수 있었다.

Recently, information technology has been developed rapidly over than everyone thinks. The computer technology with hardware and software development of artificial intelligent and machine learning would be more interested in the interactive computer technology. In this paper, we propose a new paradigm to implement the system which recognizes human’s emotion and reacts with the emotion, and this will be human interactive and applied in every information technical field. This system implements an intelligent system that analyzes human’s faces following with the recognition of emotion, which will be the intelligent system that reacts in accordance with the emotion. The proposed real-time intelligent system will develop the system that recognizes human’s emotion, with the emotion, and reacts the actions in the field of marketing of enterprises, intelligent games, and intelligent robots.

Recently, the field of emotional ICT which recognizes human's emotion is a rapidly growing interest. For example, various products applying emotion are being released and Softbank's robot, Pepper, is the one of those. This robot can recognize human's emotion through facial expressions and have conversations accordingly. By reading emotion through facial expressions, communication with humans become more natural. In addition, the emotional interface between machines and humans in various areas are applied to show a more intimate interface such as emotional application games that respond differently based on the emotion. In this paper, a system applying special effects on images based on recognition of six emotions from the facial expressions is proposed. A more friendly content can be produced by applying an appropriate emotional effect on the image loaded by the user with the user's facial expression. The result of this paper can be very appropriate to game scenarios and developing game program stages with the recognition of human emotion.

인간의 감정을 인식하는 기술은 많은 응용분야가 있음에도 불구하고 감정 인식의 어려움으로 인해 쉽게 해결 되지 않는 문제로 남아 있다. 인간의 감정 은 크게 영상과 음성을 이용하여 인식이 가능하다. 감정 인식 기술은 영상을 기반으로 하는 방법과 음성을 이용하는 방법 그리고 두 가지를 모두 이용하는 방법으로 많은 연구가 진행 중에 있다. 이 중에 특히 인간의 감정을 가장 보편적으로 표현되는 방식이 얼굴 영상을 이용한 감정 인식 기법에 대한 연구가 활발히 진행 중이다. 그러나 지금까지 사용자의 환경과 이용자 적응에 따라 많은 차이와 오류를 접하게 된다. 본 논문에서는 감정인식률을 향상시키기 위해서는 이용자의 내면적 성향을 이해하고 분석하여 이에 따라 적절한 감정인식의 정확도에 도움을 주어서 감정인식률을 향상시키는 메카니즘을 제안하였으며 본 연구는 이러한 이용자의 내면적 성향을 분석하여 감정 인식 시스템에 적용함으로 얼굴 표정에 따른 감정인식에 대한 오류를 줄이고 향상 시킬 수 있다. 특히 얼굴표정 미약한 이용자와 감정표현에 인색한 이용자에게 좀 더 향 상된 감정인식률을 제공 할 수 있는 방법을 제안하였다.

This paper presents a new feature representation method, named two- dimensional orthogonalized Fisher discriminant analysis(2D-OFD). The method adopts the 2D-LDA and orthogonalization of Fisher vector. It produces the small size scatter matrix than 1D method. Therefore it can evaluate the scatter matrix accurately. In addition, it is not suffered from small sample size problem. The orthogonalization eliminates the linear dependences among Fisher's discriminant vectors. As a result, it promotes the discriminant capability of the 2D-LDA. The proposed method is tested on the ORL face image database. We test our method 10 times. For each experiment, five training images are randomly chosen each person and the other five images are used for testing. The test show that the average recognition rate is 96.2%. When the image is downsampled to 28x23 matrix to reduce the computational complexity, the average recognition rate is 95.9%.

얼굴 자극의 성별 및 종족과 라인업 절차에 따른 얼굴 인식에서의 차이를 알아보기 위해 두 편의 실험을 수행하였다. 실험 1에서 사용된 자극은 동남아시아인 및 동북아시아인 남성의 정면 얼굴 이미지였으며 얼굴 자극의 종족과 실험참가자의 종족이 동일할 때 얼굴 인식이 향상될 수 있는지(동종족 우세 효과)를 알아보았다. 실험 2에서는 동북아시아인 남성 및 여성의 정면 얼굴을 자극으로 사용하여 참가자와 얼굴 자극의 성별이 같을 때 얼굴 인식이 더 정확한지(동성별 우세효과) 알아보았다. 두 실험에서 실험참가자는 모두 동북아시아인이었으며 라인업 절차의 동시제시 조건과 순차제시 조건을 사용하여 얼굴 자극 제시 방법에 따른 차이도 비교하였다. 실험결과 동종족 우세 효과와 라인업 절차에 따른 얼굴 인식 정확도의 차이는 관찰되지 않았으나 표적이 동남아시아인 자극일 때 얼굴 인식 정확률이 높았다. 흥미롭게도, 동성별 우세 효과는 여성 실험참가자에 한해 관찰되었다. 이러한 결과를 통해 얼굴 인식이 주의에 의해 영향을 받을 수 있을 가능성에 대해 논의하였다.

아이폰으로 대표되는 각종 스마트폰의 출시로 게임 시장은 신규 플랫폼을 위한 새로운 게임 제어 방식을 원하고 있다. 본 논문에서는 카메라에 근접한 얼굴 및 손의 회전 각도를 인식하는 기술을 이용하여 게임 컨트롤의 새로운 입 력 방식으로 사용 하는 방법을 제안한다. 일반 카메라로부터 입력 받은 영상에서 피부 색상으로 얼굴 영역을 추출하 고 타원정합(ellipse fitting)을 사용하여 얼굴과 손 영역의 회전각을 추정한다. 제안된 기술은 얼굴이나 손의 일부가 화 면 밖으로 나가더라도 추적이 지속되고, 사용자의 작은 움직임으로도 게임 플레이가 가능하기 때문에 카메라가 장착 된 스마트폰과 PC 등에 적용이 가능하다.

본 연구에서는 얼굴 표정 정서를 인식하는데 있어서 우울 집단과 통제 집단간에 차이가 있는지를 알아보고자 하였다. 연구 대상은 305명의 대학생에게 BDI-II를 실시하여 14점(상위 20%) 이상을 얻은 학생을 우울 집단으로, 5점 이하(하위 20%)를 얻은 학생을 통제 집단으로 선정하였다. 최종적으로 우울 집단 20명, 통제 집단 20명이 분석에 포함되었으며, 이들에게 기쁨, 슬픔, 화남, 두려움의 각 얼굴 표정이 중립에서부터 시작되어 점점 정서 강도가 커지면서 가장 강한 강도의 표정 사진에 이르도록 변하는 자극을 제시하였다. 그 결과, 집단과 정서(특히 기쁨-슬픔 조건)간의 유의한 상호작용 효과가 관찰되었고, 이러한 결과는 우울감이 얼굴 표정과 같은 정서적 정보처리에 영향을 미친다는 것을 의미한다. 우울한 개인의 이러한 정서 일치적 정보 처리 경향이 가지는 함의에 대하여 논의하였다.

본 연구에서는 동영상 자극과 정지 영상 자극을 사용하여 얼굴 표정의 영역(얼굴 전체/눈 영역/입 영역)에 따른 정서 상태 전달 효과를 알아보고자 하였다. 동영상 자극은 7초 동안 제시되었으며, 실험 1에서는 12개의 기본 정서에 대한 얼굴 표정 제시 유형과 제시 영역에 따른 정서 인식 효과를, 실험 2에서는 12개의 복합 정서에 대한 얼굴 표정 제시 유형과 제시 영역에 따른 정서 인식 효과를 살펴보았다. 실험 결과, 동영상 조건이 정지 영상 조건보다 더 높은 정서 인식 효과를 보였으며, 입 영역과 비교하였을 때 동영상에서의 눈 영역이 정지 영상 보다 더 큰 효과를 보여 눈의 움직임이 정서 인식에 중요할 것임을 시사하였다. 이는 기본 정서 뿐 아니라 복합 정서에서도 어느 정도 관찰될 수 있는 결과였다. 그럼에도 불구하고 정서의 종류에 따라 동영상의 효과가 달라질 수 있기 때문에 개별 정서별 분석이 필요하며, 또한, 얼굴의 특정 영역에 따라서도 상대적으로 잘 나타나는 정서 특성이 다를 수 있음을 사사해 준다.

본 논문은 얼굴인식 분야에 있어서 필수 과정인 얼굴 및 얼굴의 주요소인 눈과 입의 추출에 관한 방법을 제시한다. 얼굴 영역 추출은 복잡한 배경하에서 움직임 정보나 색상정보를 사용하지 않고 통계적인 모델에 기반한 일종의 형찬정합 방법을 사용하였다. 통계적인 모델은 입력된 얼굴 영상들의 Hotelling변환 과정에서 생성되는 고유 얼굴로, 복잡한 얼굴 영상을 몇 개의 주성분 갑으로 나타낼 수 있게 한다. 얼굴의 크기, 영상의 명암, 얼굴의 위치에 무관하게 얼굴을 추출하기 위해서, 단계적인 크기를 가지는 탐색 윈도우를 이용하여 영상을 검색하고 영상 강화 기법을 적용한 후, 영상을 고유얼굴 공간으로 투영하고 복원하는 과정을 통해 얼굴을 추출한다. 얼굴 요소의 추출은 각 요소별 특성을 고려한 엣지 추출과 이진화에 따른 프로젝션 히스토그램 분석에 의하여 눈과 입의 경계영역을 추출한다. 얼굴 영상에 관련된 윤곽선 추출에 관한 기존의 연구에서 주로 기하학적인 모양을 갖는 눈과 입의 경우에는 주로 가변 템플릿(Deformable Template)방법을 사용하여 특징을 추출하고, 비교적 다양한 모양을 갖는 눈썹, 얼굴 윤곽선 추출에는 스네이크(Snakes: Active Contour Model)를 이용하는 연구들이 이루어지고 있는데, 본 논문에서는 이러한 기존의 연구와는 달리 스네이크를 이용하여 적절한 파라미터의 선택과 에너지함수를 정의하여 눈과 입의 윤곽선 추출을 실험하였다. 복잡한 배경하에서 얼굴 영역의 추출, 추출된 얼굴 영역에서 눈과 입의 영역 추출 및 윤곽선 추출이 비교적 좋은 결과를 보이고 있다.

Facial feature extraction and tracking are essential steps in human-robot-interaction (HRI) field such as face recognition, gaze estimation, and emotion recognition. Active shape model (ASM) is one of the successful generative models that extract the facial features. However, applying only ASM is not adequate for modeling a face in actual applications, because positions of facial features are unstably extracted due to limitation of the number of iterations in the ASM fitting algorithm. The unaccurate positions of facial features decrease the performance of the emotion recognition. In this paper, we propose real-time facial feature extraction and tracking framework using ASM and LK optical flow for emotion recognition. LK optical flow is desirable to estimate time-varying geometric parameters in sequential face images. In addition, we introduce a straightforward method to avoid tracking failure caused by partial occlusions that can be a serious problem for tracking based algorithm. Emotion recognition experiments with k-NN and SVM classifier shows over 95% classification accuracy for three emotions: "joy", "anger", and "disgust".

This paper is concerned with face recognition for human-robot interaction (HRI) in robot environments. For this purpose, we use Tensor Subspace Analysis (TSA) to recognize the user's face through robot camera when robot performs various services in home environments. Thus, the spatial correlation between the pixels in an image can be naturally characterized by TSA. Here we utilizes face database collected in u-robot test bed environments in ETRI. The presented method can be used as a core technique in conjunction with HRI that can naturally interact between human and robots in home robot applications. The experimental results on face database revealed that the presented method showed a good performance in comparison with the well-known methods such as Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA) in distant-varying environments.

This study developed a surveillance robot for a ship. The developed robot consists of ultrasonic sensors, an actuator, a lighting fixture and a camera. The ultrasonic sensors are used to avoid collision with obstacles in the environment. The actuator is a servo motor system. The developed robot has four drive wheels for driving. The lighting fixture is used to guide the robot in a dark environment. To transmit an image, a camera with a pan moving and a tilt moving is equipped on the upper part of the robot. AdaBoost algorithm trained with 15 features, is used for face recognition. In order to evaluate the face recognition of the developed robot, experiments were performed.

This paper is concerned with the template-based face recognition from robot camera images with illumination and distance variations. The approaches used in this paper consist of Eigenface, Fisherface, and Icaface which are the most representative recognition techniques frequently used in conjunction with face recognition. These approaches are based on a popular unsupervised and supervised statical technique that supports finding useful image representations, respectively. Thus we focus on the performance comparison from robot camera images with unwanted variations. The comprehensive experiments are completed for a databases with illumination and distance variations.

In face recognition, learning speed of face is very important since the system should be trained again whenever the size of dataset increases. In existing methods, training time increases rapidly with the increase of data, which leads to the difficulty of training with a large dataset. To overcome this problem, we propose SVDD (Support Vector Domain Description)-based learning method that can learn a dataset of face rapidly and incrementally. In experimental results, we show that the training speed of the proposed method is much faster than those of other methods. Moreover, it is shown that our face recognition system can improve the accuracy gradually by learning faces incrementally at real environments with illumination changes.

컴퓨터 기술의 발전에 따라서 게임분야 역시 다양한 첨단 기술이 적용되고 있다. 예를 들면 강력한 3D가속 기능을 가진 비디오카드, 5.1 채널 사운드, 포스피드백 지원 입력 장치, 운전대, 적외선 센서, 음성 감지기 등이 게임의 입출력 인터페이스로서 이용되고 있다. 전형적인 방법 이외에도 광학방식이나 휴대용 게임기에 대한 플레이 방식에 대한 연구도 활발하다. 최근에는 비디오 게임기에도 사람의 동작을 인식하여 게임의 입력으로 받아들이는 기술이 상용화되기도 하였다. 본 논문에서는 이런 발전 방향을 고려하여 차세대 게임 인터페이스의 방식으로서 사용될 수 있는 사람의 표정 인식을 통한 인터페이스 구현을 위한 접근 방법들에 대하여 고찰을 하고자 한다. 사람의 표정을 입력으로 사용하는 게임은 심리적인 변화를 게임에 적용시킬 수 있으며, 유아나 장애자들이 게임을 플레이하기 위한 수단으로도 유용하게 사용될 수 있다. 영상을 통한 자동 얼굴 인식 및 분석 기술은 다양한 응용분야에 적용될 수 있는 관계로 많은 연구가 진행되어 왔다. 얼굴 인식은 동영상이나 정지영상과 같은 영상의 형태, 해상도, 조명의 정도 등에 따른 요소에 의하여 인식률이나 인식의 목적이 달라진다. 게임플레이어의 표정인식을 위해서는 얼굴의 정확한 인식 방법을 필요로 하며, 이를 위한 비교적 최근의 연구 동향을 살펴보고자 한다.