In the manufacturing industry, dispatching systems play a crucial role in enhancing production efficiency and optimizing production volume. However, in dynamic production environments, conventional static dispatching methods struggle to adapt to various environmental conditions and constraints, leading to problems such as reduced production volume, delays, and resource wastage. Therefore, there is a need for dynamic dispatching methods that can quickly adapt to changes in the environment. In this study, we aim to develop an agent-based model that considers dynamic situations through interaction between agents. Additionally, we intend to utilize the Q-learning algorithm, which possesses the characteristics of temporal difference (TD) learning, to automatically update and adapt to dynamic situations. This means that Q-learning can effectively consider dynamic environments by sensitively responding to changes in the state space and selecting optimal dispatching rules accordingly. The state space includes information such as inventory and work-in-process levels, order fulfilment status, and machine status, which are used to select the optimal dispatching rules. Furthermore, we aim to minimize total tardiness and the number of setup changes using reinforcement learning. Finally, we will develop a dynamic dispatching system using Q-learning and compare its performance with conventional static dispatching methods.

The threat of North Korea's long-range firepower is recognized as a typical asymmetric threat, and South Korea is prioritizing the development of a Korean-style missile defense system to defend against it. To address this, previous research modeled North Korean long-range artillery attacks as a Markov Decision Process (MDP) and used Approximate Dynamic Programming as an algorithm for missile defense, but due to its limitations, there is an intention to apply deep reinforcement learning techniques that incorporate deep learning. In this paper, we aim to develop a missile defense system algorithm by applying a modified DQN with multi-agent-based deep reinforcement learning techniques. Through this, we have researched to ensure an efficient missile defense system can be implemented considering the style of attacks in recent wars, such as how effectively it can respond to enemy missile attacks, and have proven that the results learned through deep reinforcement learning show superior outcomes.

실제세계에서 데이터 수집의 비용과 한계를 고려할 때, 시뮬레이션 생성 환경은 데이터 생성 과 다양한 시도에 있어 효율적인 대안이다. 이 연구에서는 Unity ML Agent를 로그라이크 장 르에 적합한 강화학습 모델로 구현하였다. 간단한 게임에Agent를 이식하고, 이 Agent가 적을 인식하고 대응하는 과정을 코드로 작성하였다. 초기 모델은 조준사격의 한계를 보였으나 RayPerceptionSensor-Component2D를 통해 Agent의 센서 정보를 직접 제공함으로써, Agent가 적을 감지하고 조준 사격을 하는 능력을 관찰할 수 있었다. 결과적으로, 개선된 모델 은 평균3.81배 향상된 성능을 보여주었으며, 이는 Unity ML Agent가 로그라이크 장르에서 강화학습을 통한 데이터 수집이 가능함을 입증한다.

Reinforcement learning (RL) is widely applied to various engineering fields. Especially, RL has shown successful performance for control problems, such as vehicles, robotics, and active structural control system. However, little research on application of RL to optimal structural design has conducted to date. In this study, the possibility of application of RL to structural design of reinforced concrete (RC) beam was investigated. The example of RC beam structural design problem introduced in previous study was used for comparative study. Deep q-network (DQN) is a famous RL algorithm presenting good performance in the discrete action space and thus it was used in this study. The action of DQN agent is required to represent design variables of RC beam. However, the number of design variables of RC beam is too many to represent by the action of conventional DQN. To solve this problem, multi-agent DQN was used in this study. For more effective reinforcement learning process, DDQN (Double Q-Learning) that is an advanced version of a conventional DQN was employed. The multi-agent of DDQN was trained for optimal structural design of RC beam to satisfy American Concrete Institute (318) without any hand-labeled dataset. Five agents of DDQN provides actions for beam with, beam depth, main rebar size, number of main rebar, and shear stirrup size, respectively. Five agents of DDQN were trained for 10,000 episodes and the performance of the multi-agent of DDQN was evaluated with 100 test design cases. This study shows that the multi-agent DDQN algorithm can provide successfully structural design results of RC beam.

음성인식 기술의 비약적 발전으로 최근 몇 년 사이 대화형 에이전트는 스마트폰, 인공지능 스피커 등을 통해 널리 보급되었다. 음성인식 기술의 인식의 정확도는 인간의 수준까지 발전하였으나, 여전히 말의 의미나 의도를 파악하는 것과 긴 대화를 이해하는 것 등에는 한계를 보이고 있다. 이에 따라 사용자는 대화형 에이전트를 사용함에 있어 다양한 오류 상황들을 경험하고 있으며 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 또한, 목소리를 주 인터페이스로 하는 인공지능 스피커의 경우, 대화형 에이전트의 기능 및 한계에 대한 피드백의 부족은 지속적 사용을 저해하는 요소로 꼽히고 있다. 따라서 사용자가 대화형 에이전트의 기능 및 한계를 보다 잘 이해하고 오류 상황에서 부정적인 감정을 완화할 수 있는 방안에 대한 연구에 대한 필요성이 높으나, 아직 관련 연구는 미비한 실정이다. 이에 본 연구에서 는 사회적 전략 중 ‘사전 양해’와 ‘사과’를 대화형 에이전트에 적용하고 이러한 전략이 사용자가 에이전트에 대해 느끼는 인식에 어떠한 영향을 미치는지 조사하였다. 이를 위해 사전 양해와 사과 여부를 나누어 사용자가 대화형 에이전트와 대화하는 데모 영상을 제작하였고, 실험참가자들에게 영상을 보여준 뒤 느끼는 호감도와 신뢰도를 설문을 통해 평가하도록 하였다. 총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다. 심층 인터뷰를 통해 원인을 파악한 결과, 실험참가자들은 인공지능 스피커를 사람과 같은 인격체보다는 단순한 기계에 가깝다고 인식했기 때문에 인간관계에 작용하는 사회적 전략이 영향력을 발휘하지 못한 것으로 해석된다. 이러한 결과는 사용자가 에이전트를 얼마나 기계, 혹은 사람에 가깝게 인식하는지에 따라 오류 상황에 대한 에이전트의 대처 방식 또한 달라져야 함을 보여준다.

Recently, scheduling problems with position-dependent processing times have received considerable attention in the literature, where the processing times of jobs are dependent on the processing sequences. However, they did not consider cases in which each processed job has different learning or aging ratios. This means that the actual processing time for a job can be determined not only by the processing sequence, but also by the learning/aging ratio, which can reflect the degree of processing difficulties in subsequent jobs. Motivated by these remarks, in this paper, we consider a two-agent single-machine scheduling problem with linear job-dependent position-based learning effects, where two agents compete to use a common single machine and each job has a different learning ratio. Specifically, we take into account two different objective functions for two agents: one agent minimizes the total weighted completion time, and the other restricts the makespan to less than an upper bound. After formally defining the problem by developing a mixed integer non-linear programming formulation, we devise a branch-and-bound (B&B) algorithm to give optimal solutions by developing four dominance properties based on a pairwise interchange comparison and four properties regarding the feasibility of a considered sequence. We suggest a lower bound to speed up the search procedure in the B&B algorithm by fathoming any non-prominent nodes. As this problem is at least NP-hard, we suggest efficient genetic algorithms using different methods to generate the initial population and two crossover operations. Computational results show that the proposed algorithms are efficient to obtain near-optimal solutions.

This paper addresses the emotion computing model for software affective agents. In this paper, emotion is represented in valence-arousal-dominance dimensions instead of discrete categorical representation approach. Firstly, a novel emotion model architecture for affective agents is proposed based on Scherer’s componential theories of human emotion, which is one of the well-known emotion models in psychological area. Then a fuzzy logic is applied to determine emotional statuses in the emotion model architecture, i.e., the first valence and arousal, the second valence and arousal, and dominance. The proposed methods are implemented and tested by applying them in a virtual training system for children’s neurobehavioral disorders.

In this paper, we consider a two-agent scheduling with sequence-dependent exponential learning effects consideration, where two agents A and B have to share a single machine for processing their jobs. The objective function for agent A is to minimize the total completion time of jobs for agent A subject to a given upper bound on the objective function of agent B, representing the makespan of jobs for agent B. By assuming that the learning ratios for all jobs are the same, we suggest an enumeration-based backward allocation scheduling for finding an optimal solution and exemplify it by using a small numerical example. This problem has various applications in production systems as well as in operations management.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.

이 연구의 목적은 학습용 에이전트의 사실성 수준과 학습자의 전문성 수준이 학습 성취 및 에이전트에 대한 의인화 효과에 미치는 영향을 검증하기 위한 것이다. 대학생 68명(남학생= 19명, 여학생 = 49명)이 실험에 참여했으며, 전문성 수준은 사전검사의 평균을 기준으로 상위 집단과 하위 집단으로 구분하였다. 사실성 수준 은 에이전트 이미지를 단순화하는 정도에 따라서 구분하였다. 이 연구의 종속변수는 학습 성취와 의인화 효과에 대한 지각점수이다. 의인화 효과는 학습 촉진, 신뢰성, 인간다움, 학습 개입으로 구분하였다. 실험 결과에 따르면, 학습 성취에서는 에이전트 사실성 수준에 의한 유의미한 차이가 없었다. 그러나 의인화 효과에 대 한 설문에서는 학습 개입을 제외한 나머지 모든 범주에서 유의미한 상호작용이 나타났다. 단순 주 효과 분석에 따르면, 이런 상호작용의 효과는 전문성 수준이 높은 학습자가 정밀한 이미지의 에이전트를 제공받았을때 의인화 효과가 올라갔다. 이 결과는 학습자의 전문성 수준에 따라서 의인화 효과가 달라진다는 것을 보여 준다. 또한 전문성 수준이 높은 학습자는 에이전트에 대한 인지적 평가를 할 수 있었음을 의미한다. 전문성 수준이 높은 학습자에게는 사실성 수준이 높은 에이전트를 제공하는 것이 긍정적인 효과를 도출하였다.

게임 개발에서 에이전트의 행동은 중요한 연구 분야이다. 기존의 에이전트의 설계에서의 문제점은 행동의 재사용, 환경과 상호작용이 가능한 에이전트 구조, 행동 중심의 설계에 대한 연구는 미흡하였다. 제안하는 복합행동 중심의 에이전트의 행동 설계방법은 시나리오 분석 및 상황 표현 단계에서 게임 참여자들간의 의사소통의 도구를 제공하고, 설계 및 구현 단계에서 추상적인 행동을 표현할 수 있고, 향후 게임의 확장 및 유사 에이전트의 설계시 시간 및 비용 절감 효과를 가져 온다. 특히, 본 논문은 게임 개발에서 게임시나리오에 대한 분석 및 이해를 가능하게 하는 행동 중심의 설계 기법을 제안하였다.

Recently, the role of artificial intelligence techniques in games is becoming important. Game artificial intelligence technology in the past, the graphics and sound technology were more important. However, Artificial intelligent technology in current games is necessary technology to provide variety pleasure to users, and role of user's partner or helper. Learning ability of artificial intelligence technologies is attention getting technology. In this paper, we apply the learning system to the game agent to implement it, and a nalysis its performance.