인공지능(AI)은 20년 이상 게임 분야에 널리 적용되어 왔다. 그러나 협동(coordination) 게임에서의 AI 에이전트, 특히 경주 게임에서 협동에 대한 연구는 상대적으로 적은 주목을 받아왔다. 이러한 관심의 부족은 불완전한 파트너를 충분히 보완하면서 사용자의 게임 플레이 경험 과 수행 능력 을 저해하지 않아야 하는 복잡성에서 부분적으로 기인한다. 우리는 경주 게임에서 협동 에이전트 의 잠재력을 탐구하고 밝히기 위해, 자동차 컨트롤을 두 개의 서로 다른 에이전트로 나눔으로써 협동 환경을 갖춘 자동차 경주 게임을 개발하였다. 이어서 실험을 통해 다양한 훈련 방법과 파트 너의 정보를 활용하여 에이전트와 파트너의 협동을 평가하였다. 특히, 학습 시 서브-옵티멀 파트 너와 함께하는 것과 에이전트를 해당 파트너에게 맞게 개인화하는 것의 영향을 조사하였다. 연구 결과, 불완전한 파트너와 훈련했을 때 성능이 2%에서 7%까지 향상되었으며, 파트너에게 맞게 개 인화했을 때는 모든 파트너에게 일반화한 경우보다 최대 3점(6.7%)까지 성능이 향상하였다. 본 연구를 통해, AI 에이전트를 개인화하는 것의 잠재력을 보여주었고, 에이전트가 파트너의 불완전 함을 인지하는 것의 장점을 확인하였다. 본 연구가 협 동 게임에서 개인화된 에이전트 연구에 이 바지하기를 기대한다.

Artificial intelligence has been widely applied in games for over two decades. However, AI agents in coordination games, particularly in racing game environments, have not yet received substantial attention. This oversight is partly due to the complexities of compensating for imperfect partners without compromising the player’s performance and experience. To explore and unveil the potential of cooperative agents in racing games, we developed a car racing game with a specialized coordination environment by dividing car controls between two distinct agents. Our experiments evaluated the agents' ability to coordinate with their partners using various training methods and integrating partner-specific information. Specifically, we investigated the impact of training with sub-optimal partners and personalizing the agent to better coordinate with its partner. In our findings, the agents’ performance improved by 2% to 7% when trained with an imperfect partner, and up to 6.7% (3 points) increase was observed when the agent was personalized to its partner compared to generalizing to the entire distribution. The results suggest the potential of personalizing AI agents for enhanced coordination, particularly in racing games. This study is expected to contribute to the development of personalized AI agents in coordination games and improve interactions with human players.

Abstract
1. Introduction
2. Related Work
3. Preliminaries
    3.1 Proximal Policy Optimization (PPO)
    3.2 Behavioral Cloning (BC)
    3.3 Generative Adversarial Imitationlearning (GAIL)
4. Design and Implementation
    4.1 Unity with ML-agents
    4.2 Racing Game Implementation
    4.3 Agent configuration
    4.4 Standardization of Rewards
5. Experiment and Evaluation
    5.1 Utilizing the Suboptimal Partner
    5.2 Personalized Agent VS General Agent
6. Conclusions
7. Acknowledgments
8. Reference
<국문초록>
<결론 및 향후연구>

• Junhyeon Kwon(Department of Computer Engineering, Hongik University) | 권준현
• Jun Park(Department of Computer Engineering, Hongik University) | 박준 Corresponding author