스텔스 게임에서 플레이어의 행동을 예측하는 것은 게임 디자인에 있어서 핵심적인 역할을 한다. 하지만, 플레이어와 게임 환경 간의 상호작용이 실시간으로 일어난다는 점에서 이러한 예 측 프로세스를 자동화하는 것은 어려운 문제이다. 본 논문은 동적 환경에서의 스텔스 움직임을 예측하기 위한 강화학습 방법을 소개하며, 이를 위해 Q-learning과 인공신경망이 통합된 형태 의 모델이 액션 시뮬레이션을 위한 분류기로 활용된다. 실험 결과들은 이러한 시뮬레이션 에이 전트가 동적으로 변하는 주변 상황에 민감하게 반응함을 보여주며, 따라서 게임 레벨 디자이너 가 다양한 게임 요소들을 결정하는데 유용함을 보여준다.

Predicting stealthy behaviors plays an important role in designing stealth games. It is, however, difficult to automate this task because human players interact with dynamic environments in real time. In this paper, we present a reinforcement learning (RL) method for simulating stealthy movements in dynamic environments, in which an integrated model of Q-learning with Artificial Neural Networks (ANN) is exploited as an action classifier. Experiment results show that our simulation agent responds sensitively to dynamic situations and thus is useful for game level designer to determine various parameters for game.

1. Introduction
 2. Background and Related Work
  2.1 Simulating stealthy movements
  2.2 Robot trained by RL and ANNs
  2.3 Game agent trained by RL
 3. Learning Model
  3.1 Basics of RL and ANNs
  3.2 Action Selection
  3.3 Sensory Information
  3.4 Reinforcement learning
 4. Experiments & Results
  4.1 Basic stealthy movements
  4.2 Sensitive movements
  4.3 Comparison with a RRT-basedagent
 5. Conclusions
 REFERENCES

• Taeyeong Choi(School of Computing, Informatics, Decision Systems Engineering, Arizona State University) | 최태영
• Hyeon-Suk Na(숭실대학교 컴퓨터학부) | 나현숙 Corresponding Author