실제세계에서 데이터 수집의 비용과 한계를 고려할 때, 시뮬레이션 생성 환경은 데이터 생성 과 다양한 시도에 있어 효율적인 대안이다. 이 연구에서는 Unity ML Agent를 로그라이크 장 르에 적합한 강화학습 모델로 구현하였다. 간단한 게임에Agent를 이식하고, 이 Agent가 적을 인식하고 대응하는 과정을 코드로 작성하였다. 초기 모델은 조준사격의 한계를 보였으나 RayPerceptionSensor-Component2D를 통해 Agent의 센서 정보를 직접 제공함으로써, Agent가 적을 감지하고 조준 사격을 하는 능력을 관찰할 수 있었다. 결과적으로, 개선된 모델 은 평균3.81배 향상된 성능을 보여주었으며, 이는 Unity ML Agent가 로그라이크 장르에서 강화학습을 통한 데이터 수집이 가능함을 입증한다.

Reinforcement learning (RL) is widely applied to various engineering fields. Especially, RL has shown successful performance for control problems, such as vehicles, robotics, and active structural control system. However, little research on application of RL to optimal structural design has conducted to date. In this study, the possibility of application of RL to structural design of reinforced concrete (RC) beam was investigated. The example of RC beam structural design problem introduced in previous study was used for comparative study. Deep q-network (DQN) is a famous RL algorithm presenting good performance in the discrete action space and thus it was used in this study. The action of DQN agent is required to represent design variables of RC beam. However, the number of design variables of RC beam is too many to represent by the action of conventional DQN. To solve this problem, multi-agent DQN was used in this study. For more effective reinforcement learning process, DDQN (Double Q-Learning) that is an advanced version of a conventional DQN was employed. The multi-agent of DDQN was trained for optimal structural design of RC beam to satisfy American Concrete Institute (318) without any hand-labeled dataset. Five agents of DDQN provides actions for beam with, beam depth, main rebar size, number of main rebar, and shear stirrup size, respectively. Five agents of DDQN were trained for 10,000 episodes and the performance of the multi-agent of DDQN was evaluated with 100 test design cases. This study shows that the multi-agent DDQN algorithm can provide successfully structural design results of RC beam.

음성인식 기술의 비약적 발전으로 최근 몇 년 사이 대화형 에이전트는 스마트폰, 인공지능 스피커 등을 통해 널리 보급되었다. 음성인식 기술의 인식의 정확도는 인간의 수준까지 발전하였으나, 여전히 말의 의미나 의도를 파악하는 것과 긴 대화를 이해하는 것 등에는 한계를 보이고 있다. 이에 따라 사용자는 대화형 에이전트를 사용함에 있어 다양한 오류 상황들을 경험하고 있으며 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 또한, 목소리를 주 인터페이스로 하는 인공지능 스피커의 경우, 대화형 에이전트의 기능 및 한계에 대한 피드백의 부족은 지속적 사용을 저해하는 요소로 꼽히고 있다. 따라서 사용자가 대화형 에이전트의 기능 및 한계를 보다 잘 이해하고 오류 상황에서 부정적인 감정을 완화할 수 있는 방안에 대한 연구에 대한 필요성이 높으나, 아직 관련 연구는 미비한 실정이다. 이에 본 연구에서 는 사회적 전략 중 ‘사전 양해’와 ‘사과’를 대화형 에이전트에 적용하고 이러한 전략이 사용자가 에이전트에 대해 느끼는 인식에 어떠한 영향을 미치는지 조사하였다. 이를 위해 사전 양해와 사과 여부를 나누어 사용자가 대화형 에이전트와 대화하는 데모 영상을 제작하였고, 실험참가자들에게 영상을 보여준 뒤 느끼는 호감도와 신뢰도를 설문을 통해 평가하도록 하였다. 총 104명의 응답을 분석한 결과, 문헌조사를 토대로 한 우리의 예상과는 상반되는 결과를 얻었다. 사전 양해는 오히려 사용자에게 부정적인 인상을 주었으며, 특히 에이전트에 대한 신뢰도에 부정적인 영향을 주었다. 또한 오류 상황에서의 사과는 사용자가 느끼는 호감도나 신뢰도에는 유의미한 영향을 미치지 않았다. 심층 인터뷰를 통해 원인을 파악한 결과, 실험참가자들은 인공지능 스피커를 사람과 같은 인격체보다는 단순한 기계에 가깝다고 인식했기 때문에 인간관계에 작용하는 사회적 전략이 영향력을 발휘하지 못한 것으로 해석된다. 이러한 결과는 사용자가 에이전트를 얼마나 기계, 혹은 사람에 가깝게 인식하는지에 따라 오류 상황에 대한 에이전트의 대처 방식 또한 달라져야 함을 보여준다.

Recently, scheduling problems with position-dependent processing times have received considerable attention in the literature, where the processing times of jobs are dependent on the processing sequences. However, they did not consider cases in which each processed job has different learning or aging ratios. This means that the actual processing time for a job can be determined not only by the processing sequence, but also by the learning/aging ratio, which can reflect the degree of processing difficulties in subsequent jobs. Motivated by these remarks, in this paper, we consider a two-agent single-machine scheduling problem with linear job-dependent position-based learning effects, where two agents compete to use a common single machine and each job has a different learning ratio. Specifically, we take into account two different objective functions for two agents: one agent minimizes the total weighted completion time, and the other restricts the makespan to less than an upper bound. After formally defining the problem by developing a mixed integer non-linear programming formulation, we devise a branch-and-bound (B&B) algorithm to give optimal solutions by developing four dominance properties based on a pairwise interchange comparison and four properties regarding the feasibility of a considered sequence. We suggest a lower bound to speed up the search procedure in the B&B algorithm by fathoming any non-prominent nodes. As this problem is at least NP-hard, we suggest efficient genetic algorithms using different methods to generate the initial population and two crossover operations. Computational results show that the proposed algorithms are efficient to obtain near-optimal solutions.

This paper addresses the emotion computing model for software affective agents. In this paper, emotion is represented in valence-arousal-dominance dimensions instead of discrete categorical representation approach. Firstly, a novel emotion model architecture for affective agents is proposed based on Scherer’s componential theories of human emotion, which is one of the well-known emotion models in psychological area. Then a fuzzy logic is applied to determine emotional statuses in the emotion model architecture, i.e., the first valence and arousal, the second valence and arousal, and dominance. The proposed methods are implemented and tested by applying them in a virtual training system for children’s neurobehavioral disorders.

In this paper, we consider a two-agent scheduling with sequence-dependent exponential learning effects consideration, where two agents A and B have to share a single machine for processing their jobs. The objective function for agent A is to minimize the total completion time of jobs for agent A subject to a given upper bound on the objective function of agent B, representing the makespan of jobs for agent B. By assuming that the learning ratios for all jobs are the same, we suggest an enumeration-based backward allocation scheduling for finding an optimal solution and exemplify it by using a small numerical example. This problem has various applications in production systems as well as in operations management.

이 연구의 목적은 학습용 에이전트의 비언어적 의사소통이 의인화 효과에 미치는 영향을 검증하는 것이다. 대학생 56명을 대상으로 실험이 진행되었으며, 비언어적 의사소통은 제스처(지시적 제스처 vs. 대화적 제스처)와 얼굴표정(적용유무)에 의해서 구현되었다. 학습용 에이전트에 적용된 제스처는 지시적 제스처와 대화적 제스처였다. 지시적 제스처는 주의집중 유도 가설에 의해서 학습용 에이전트의 제스처가 시각단서의 역할을 수행할 것이라는 가설에 근거하고 있다. 대화적 제스처는 사회성 가설에 의한 것으로 학습용 에이전트의 사회적 상호작용을 촉진시키기 위한 것이다. 얼굴표정은 주로 사회성 가설을 지지하는 설계원리로 보았다. 의인화 효과 측정에서는 학습개입에 대한 상호작용이 유의미했다. 대화적 제스처 조건에서 얼굴표정이 있고 없음에 따라서 학습개입에 대한 의인화 효과가 유의미했다. 대화적 제스처와 얼굴표정이 적용되면 학습개입을 촉진하는 것으로 나타났다. 이 연구는 두 가지 시사점을 제공하고 있다. 첫째, 얼굴표정은 학습개입에서 중요한 역할을 한다. 둘째, 제스처와 더불어 얼굴표정과 제스처가 동시에 적용되어야 한다.

이 연구의 목적은 학습용 에이전트의 사실성 수준과 학습자의 전문성 수준이 학습 성취 및 에이전트에 대한 의인화 효과에 미치는 영향을 검증하기 위한 것이다. 대학생 68명(남학생= 19명, 여학생 = 49명)이 실험에 참여했으며, 전문성 수준은 사전검사의 평균을 기준으로 상위 집단과 하위 집단으로 구분하였다. 사실성 수준 은 에이전트 이미지를 단순화하는 정도에 따라서 구분하였다. 이 연구의 종속변수는 학습 성취와 의인화 효과에 대한 지각점수이다. 의인화 효과는 학습 촉진, 신뢰성, 인간다움, 학습 개입으로 구분하였다. 실험 결과에 따르면, 학습 성취에서는 에이전트 사실성 수준에 의한 유의미한 차이가 없었다. 그러나 의인화 효과에 대 한 설문에서는 학습 개입을 제외한 나머지 모든 범주에서 유의미한 상호작용이 나타났다. 단순 주 효과 분석에 따르면, 이런 상호작용의 효과는 전문성 수준이 높은 학습자가 정밀한 이미지의 에이전트를 제공받았을때 의인화 효과가 올라갔다. 이 결과는 학습자의 전문성 수준에 따라서 의인화 효과가 달라진다는 것을 보여 준다. 또한 전문성 수준이 높은 학습자는 에이전트에 대한 인지적 평가를 할 수 있었음을 의미한다. 전문성 수준이 높은 학습자에게는 사실성 수준이 높은 에이전트를 제공하는 것이 긍정적인 효과를 도출하였다.

게임 개발에서 에이전트의 행동은 중요한 연구 분야이다. 기존의 에이전트의 설계에서의 문제점은 행동의 재사용, 환경과 상호작용이 가능한 에이전트 구조, 행동 중심의 설계에 대한 연구는 미흡하였다. 제안하는 복합행동 중심의 에이전트의 행동 설계방법은 시나리오 분석 및 상황 표현 단계에서 게임 참여자들간의 의사소통의 도구를 제공하고, 설계 및 구현 단계에서 추상적인 행동을 표현할 수 있고, 향후 게임의 확장 및 유사 에이전트의 설계시 시간 및 비용 절감 효과를 가져 온다. 특히, 본 논문은 게임 개발에서 게임시나리오에 대한 분석 및 이해를 가능하게 하는 행동 중심의 설계 기법을 제안하였다.

Recently, the role of artificial intelligence techniques in games is becoming important. Game artificial intelligence technology in the past, the graphics and sound technology were more important. However, Artificial intelligent technology in current games is necessary technology to provide variety pleasure to users, and role of user's partner or helper. Learning ability of artificial intelligence technologies is attention getting technology. In this paper, we apply the learning system to the game agent to implement it, and a nalysis its performance.

최근 개발자와 사용자 사이에서 게임의 인공지능에 대한 관심이 늘어나고 있다. 그래픽과 사운드 요소의 한계로 인 해 화려하고 웅장한 게임보다 다양한 재미를 줄 수 있는 게임을 원하기 때문이다. 기존의 게임 인공지능 기법은 단순 하여 쉽게 질리고, 사용자에게 다양한 재미를 지속적으로 제공하기 어렵다. 그러나 학습 능력을 갖춘 게임은 다양하고 예측하기 어려운 특성으로 인해 사용자에게 끝없는 재미를 제공할 수 있다. 본 논문에서는 이러한 학습 능력을 게임 내의 에이전트에게 부여하기 위해 심리학 이론 중 하나인 관찰학습 이론을 적용한 알고리즘을 제시하고자 한다.

오늘날 가상 세계에서 인간과 인간, 컴퓨터와 인간의 상호작용을 좀 더 효율적으로 도와줄 수 있는 매개체로서 에이전트에 대한 관심이 증대되고 있다. 특히 에이전트의 정서표현도 인간의 정서 표현처럼 해석할 수 있고 그에 대해 인간의 정서표현에 반응하는 것과 마찬가지의 방식으로 반응한다는 연구들이 있어왔다. 그렇다면 에이전트의 정서표현이 표정과 목소리에서 서로 불일치한다면 어떤 쪽에 더 치중해서 에이전트의 정서를 해석할지 또는 어느 한 쪽에 치중하는 것이 아니라 두 정서 모두 조합해서 받아들일지 알아보고자 했다. 또한 만약 표정과 목소리의 두 가지 정서를 조합해서 인지한다면 표정이나 목소리에서는 표현되지 않은 제 3의 정서를 느끼지는 않는 것인지 알아보았다. 실험은 표정(4) × 목소리(4)로 이루어졌다. 실험 결과 사람들은 에이전트의 한 가지 채널에 지배받아서 정서를 인지하는 것이 아니라 표정(시각)과 목소리(청각) 두 채널 모두를 조합해서 정서를 인지하는 것으로 나타났다. 또한 두 채널의 정서가 불일치할 때에는 혼란에 빠져 무슨 정서인지 모르게 되는 것이 아니라 또 다른 실망, 지루함, 지친, 반가운 등의 제 3의 정서를 느끼는 것으로 나타났다.

Attempt of various form are made for game. An on-line game is application processes event, which reacts according to condition. Animation of character is expressed according to event. An emotion is decided by message queue's iteration achievement. This treatise does not plan event of game to simple processing system and propose autonomous emotion expression system of FuSM's game character. Interaction increase of game with the actuality the world resembling that to do express, and it can augment sociality. Game space is action space by simple iteration, which convert to space that can express users. This treatise may offer various elements to game take part in users.

This paper considers a multiagent scheduling problem under public information where a machine is shared by multiple agents. Each agent has a local objective among the minimization of total completion time and the minimization of maximum. In this problem.