가상 환경 또는 실세계에서 지능적인 NPC를 위한 연구가 하드웨어나 소프트웨어 분야에서 활발히 진행되고 있다. 하드웨어 분야로는 로봇 시스템이 주를 이루고 있으며, 이는 물리적인 제약점과 노이즈의 문제 해결에 초점을 맞추고 있다는 점에서 단순 소프트웨어 분야와는 차이점이 있다. 그러나 공통적인 목표는 사람과 같은 환경에서 사람과 같이 행동하는 지능형 NPC 기술 개발이다. 본 논문은 최근 기존 연구 중에서 소프트웨어 분야와 아키텍쳐 설계를 통해 지능적인 NPC를 연구한 사례를 중점으로 조사한다. 사람과 같은 행동 결정을 유도하는 NPC에는 신경망, 유전자 알고리즘, 사례기반 추론, 학습과 같은 여러 분야에 연구가 진행되고 있다. 다양한 인공지능 알고리즘 중에서 현재 환경과 자신의 상태를 고려하여 가장 적합한 행동 결정을 유도하는 계획 기법을 기반으로 하는 연구를 조사한다. 이러한 연구는 기존의 실세계의 로봇 시스템, 가상 환경, 가상 시뮬레이션 그리고 게임의 여러 캐릭터 위주의 장르에서도 활용범위를 넓힐 수 있다.

Collecting a rich but meaningful training data plays a key role in machine learning and deep learning researches for a self-driving vehicle. This paper introduces a detailed overview of existing open-source simulators which could be used for training self-driving vehicles. After reviewing the simulators, we propose a new effective approach to make a synthetic autonomous vehicle simulation platform suitable for learning and training artificial intelligence algorithms. Specially, we develop a synthetic simulator with various realistic situations and weather conditions which make the autonomous shuttle to learn more realistic situations and handle some unexpected events. The virtual environment is the mimics of the activity of a genuine shuttle vehicle on a physical world. Instead of doing the whole experiment of training in the real physical world, scenarios in 3D virtual worlds are made to calculate the parameters and training the model. From the simulator, the user can obtain data for the various situation and utilize it for the training purpose. Flexible options are available to choose sensors, monitor the output and implement any autonomous driving algorithm. Finally, we verify the effectiveness of the developed simulator by implementing an end-to-end CNN algorithm for training a self-driving shuttle.