다중 에이전트 강화학습의 발전과 함께 게임 분야에서 강화학습을 레벨 디자인에 적용하려는 연구가 계속되 고 있다. 플랫폼의 형태가 레벨 디자인의 중요한 요소임에도 불구하고 지금까지의 연구들은 플레이어의 스킬 수준이나, 스킬 구성 등 플레이어의 매트릭에 초첨을 맞춰 강화학습을 활용하였다. 따라서 본 논문에서는 레 벨 디자인에 플랫폼의 형태가 사용될 수 있도록 시각 센서의 가시성과 구조물의 복잡성을 고려하여 플랫폼 이 플레이 경험에 미치는 영향을 연구한다. 이를 위해Unity ML-Agents Toolkit과MA-POCA 알고리즘, Self-play 방식을 기반으로2vs2 대전 슈팅 게임 환경을 개발하였으며 다양한 플랫폼의 형태를 구성하였다. 분석을 통해 플랫폼의 형태에 따른 가시성과 복잡성의 차이가 승률 밸런스에는 크게 영향을 미치지 않으나 전체 에피소 드 수, 무승부 비율, Elo의 증가폭에 유의미한 영향을 미치는 것을 확인했다.

기존의 스타크래프트II 내장AI는 미리 정의한 행동 패턴을 따르기 때문에 사용자가 전략을 쉽게 파악할 수 있어 사용자의 흥미를 오랫동안 유지시키기 힘들다. 이를 해결하기 위해, 많은 강화학습 기반의 스타크래프 트II AI 연구가 진행되었다. 그러나 기존의 강화학습AI는 승률에만 중점을 두고 에이전트를 학습시킴으로써 소수의 유닛을 사용하거나 정형화 된 전략만을 사용하여 여전히 사용자들이 게임의 재미를 느끼기에 한계가 존재한다. 본 논문에서는 게임의 재미를 향상시키기 위하여, 강화학습을 활용하여 실제 플레이어와 유사한 AI을 제안한다. 에이전트에게 스타크래프트II의 상성표를 학습시키고, 정찰한 정보로 보상을 부여해 유동적 으로 전략을 변경하도록 한다. 실험 결과, 사용자가 느끼는 재미와 난이도, 유사도 부분에서 고정된 전략을 사용하는 에이전트보다 본 논문에서 제안하는 에이전트가 더 높은 평가를 받았다..

Massively Multiplayer Online Role-Playing Game(MMORPG) attract thousand of concurrent users, leading to a surge in server requests. The massive requests results in contention on the game server, causing unexpected latency issues that undermine user experience. Delayed latency leads to user dissatisfaction and, ultimately, user churn. In this paper, we propose a multi-threaded game server design that provides stable response time by utilizing computing resources. And we study the performance of the design under various environments by configuring the approaches we implemented. The server consists of a socket system that helps communicate between clients and servers, a task system that handles changes in the status of user, and a synchronization system that allows users to receive the same game information. To prevent serious contention, both lock and lock-free algorithms for process synchronization are applied, and some parallel programming approaches such as visual processing are introduced.

User churn in games often arises due to inadequate game difficulty. To address this, non-player characters (NPCs) has been utilized to modulate difficulty according to individual game skill. Nevertheless, the effectiveness of solely NPC-based adjustments is limited since game difficulty is influenced by both NPCs and environmental factors. This paper introduces a novel method for dynamically tailoring game difficulty by adjusting in-game environments based on player behavior patterns in top-down shooter game. Through analysis of diverse user game play data, we find that factors within the game environment, such as the distribution of enemy characters and the arrangement of terrain, have a substantial influence on the level of difficulty. Furthermore, it has been observed that behavioral patterns of players show variations according to changes in the game environment. Using these analytical result, we devise an artificial neural network model that configures an environment that suit player behavior patterns. With the model, we figure out the user player pattern and control the difficulty dynamically by changing the environment factors. Through the experiments, we show that our method provides an appropriate level of difficulty for users to prevent user churn.