다중 에이전트 강화학습의 발전과 함께 게임 분야에서 강화학습을 레벨 디자인에 적용하려는 연구가 계속되 고 있다. 플랫폼의 형태가 레벨 디자인의 중요한 요소임에도 불구하고 지금까지의 연구들은 플레이어의 스킬 수준이나, 스킬 구성 등 플레이어의 매트릭에 초첨을 맞춰 강화학습을 활용하였다. 따라서 본 논문에서는 레 벨 디자인에 플랫폼의 형태가 사용될 수 있도록 시각 센서의 가시성과 구조물의 복잡성을 고려하여 플랫폼 이 플레이 경험에 미치는 영향을 연구한다. 이를 위해Unity ML-Agents Toolkit과MA-POCA 알고리즘, Self-play 방식을 기반으로2vs2 대전 슈팅 게임 환경을 개발하였으며 다양한 플랫폼의 형태를 구성하였다. 분석을 통해 플랫폼의 형태에 따른 가시성과 복잡성의 차이가 승률 밸런스에는 크게 영향을 미치지 않으나 전체 에피소 드 수, 무승부 비율, Elo의 증가폭에 유의미한 영향을 미치는 것을 확인했다.

Reinforcement learning (RL) is widely applied to various engineering fields. Especially, RL has shown successful performance for control problems, such as vehicles, robotics, and active structural control system. However, little research on application of RL to optimal structural design has conducted to date. In this study, the possibility of application of RL to structural design of reinforced concrete (RC) beam was investigated. The example of RC beam structural design problem introduced in previous study was used for comparative study. Deep q-network (DQN) is a famous RL algorithm presenting good performance in the discrete action space and thus it was used in this study. The action of DQN agent is required to represent design variables of RC beam. However, the number of design variables of RC beam is too many to represent by the action of conventional DQN. To solve this problem, multi-agent DQN was used in this study. For more effective reinforcement learning process, DDQN (Double Q-Learning) that is an advanced version of a conventional DQN was employed. The multi-agent of DDQN was trained for optimal structural design of RC beam to satisfy American Concrete Institute (318) without any hand-labeled dataset. Five agents of DDQN provides actions for beam with, beam depth, main rebar size, number of main rebar, and shear stirrup size, respectively. Five agents of DDQN were trained for 10,000 episodes and the performance of the multi-agent of DDQN was evaluated with 100 test design cases. This study shows that the multi-agent DDQN algorithm can provide successfully structural design results of RC beam.

이 논문에서는 기존의 조인트 교량을 일체식 교대 교량으로 변경할 경우, 온도하중에 의한 상부구조의 인장에 따른 흉벽의 휨거동을 보강하기 위한 흉벽 FRP 보강공법을 제안하고, 설계 및 유한요소해석을 통해 보강 효과를 검토하였다. FRP 보 강재는 펄트루젼 공정으로 제작하며, 흉벽 전면부에 부착하여 일체식 교대 교량으로 변경할 때, 흉벽에 부족한 인장철근의 역할 을 대체하게 된다. 흉벽 FRP 보강공법의 설계는 ACI Committee 440을 참고하여 수행하였으며, 유한요소해석은 콘크리트, 철근 및 유리섬유와 비닐에스터로 제작한 FRP 보강재의 최대응력을 보강 방법에 따라 비교하였다. 유한요소해석 결과, FRP 보강재는 콘크리트에 발생하는 인장응력을 감소시키는 역할을 하며, 흉벽이 저항할 수 있는 휨모멘트를 증가시킬 수 있는 것으로 나타났 다.

Recently, machine learning is widely used to solve optimization problems in various engineering fields. In this study, machine learning is applied to development of a control algorithm for a smart control device for reduction of seismic responses. For this purpose, Deep Q-network (DQN) out of reinforcement learning algorithms was employed to develop control algorithm. A single degree of freedom (SDOF) structure with a smart tuned mass damper (TMD) was used as an example structure. A smart TMD system was composed of MR (magnetorheological) damper instead of passive damper. Reward design of reinforcement learning mainly affects the control performance of the smart TMD. Various hyperparameters were investigated to optimize the control performance of DQN-based control algorithm. Usually, decrease of the time step for numerical simulation is desirable to increase the accuracy of simulation results. However, the numerical simulation results presented that decrease of the time step for reward calculation might decrease the control performance of DQN-based control algorithm. Therefore, a proper time step for reward calculation should be selected in a DQN training process.

In this paper, the flexural capacity equation of FRP-bar reinforced concrete beams was verified by comparing the experimental results and flexural capacity obtained according to the ACI procedure. And, also the economic feasibility of FRP-bar reinforced concrete beams was analyzed by comparing nominal moment capacity of beams. The results of analysis were as follows, 1) GFRP concrete beams have lower flexural performance than reinforced concrete beams, whereas CFRP concrete beams have similar flexural performance to reinforced concrete beams under the same reinforcement ratio 2) Although the design moment increased as the compressive strength of concrete increased, the flexural performance of GFRP reinforced concrete beams was found to be lower than the reinforced concrete beams for all reinforcement ratios.

현재 교량과 같은 토목구조물의 설계프로세스는 1차 설계 후 구조 검토를 수행하여 기준에 부적합할 경우 재설계하는 과정을 반복 하여 최종적인 성과품을 만드는 것이 일반적이다. 이러한 반복 과정은 설계에 소요되는 기간을 연장시키는 원인이 되며, 보다 수준 높 은 설계를 위해 투입되어야 할 고급 엔지니어링 인력을 기계적인 단순 반복 작업에 소모하고 있다. 이러한 문제는 설계 과정 자동화를 통하여 해결할 수 있으나, 설계 과정에서 사용되는 해석프로그램은 이러한 자동화에 가장 큰 장애요인이 되어 왔다. 본 연구에서는 기 존 설계 과정 중 반복작업을 대체하고자 강화학습 알고리즘과 외부 해석프로그램을 함께 제어할 수 있는 인터페이스를 포함한 교량 설계 프로세스에 대한 AI기반 자동화 시스템을 구축하였다. 이 연구를 통하여 구축된 시스템의 프로토타입은 2경간 RC라멘교를 대 상으로 제작하였다. 개발된 인터페이스 체계는 향후 최신 AI 및 타 형식의 교량설계 간 연계를 위한 기초기술로써 활용될 수 있을 것 으로 판단된다..

A mid-story isolation system was proposed for seismic response reduction of high-rise buildings and presented good control performance. Control performance of a mid-story isolation system was enhanced by introducing semi-active control devices into isolation systems. Seismic response reduction capacity of a semi-active mid-story isolation system mainly depends on effect of control algorithm. AI(Artificial Intelligence)-based control algorithm was developed for control of a semi-active mid-story isolation system in this study. For this research, an practical structure of Shiodome Sumitomo building in Japan which has a mid-story isolation system was used as an example structure. An MR (magnetorheological) damper was used to make a semi-active mid-story isolation system in example model. In numerical simulation, seismic response prediction model was generated by one of supervised learning model, i.e. an RNN (Recurrent Neural Network). Deep Q-network (DQN) out of reinforcement learning algorithms was employed to develop control algorithm The numerical simulation results presented that the DQN algorithm can effectively control a semi-active mid-story isolation system resulting in successful reduction of seismic responses.

본 논문은 준등방성 적층 섬유배열된 FRP보강재로 보강된 철근콘크리트보의 휨 보강 설계에 대하여 소개하고 있다. 본 논문에서는 첫 번째로 FRP보강재의 적층설계와 그 적층부재의 물성값 해석이 수행되었다. 마지막으로 여러 개의 준등방성 적층구조로 보강된 철근콘크리트보에 대한 휨 해석이 수행되었다. 그 결과값은 직교차 적층 구조를 갖는 RC보와 비교되었다. 따라서 본 연구가 준등방성 적층구조의 FRP보강재로 보강된 노후 RC보의 휨 설계의 지침서가 될 수 있을 것이다.

이 연구에서는 물량저감 철근상세를 갖는 중공 철근콘크리트 교각 시스템의 전용 설계프로그램과 소성설계 적용 결과를 제시하였다. 개발된 물량저감 철근상세는 경제성과 합리성을 갖으며 공사기간의 단축을 가져올 수 있다. 물량저감 중공 철근콘크리트 교각의 적용을 통해 경제성 평가를 수행하였다. 평가 결과 개발상세가 기존상세에 비해 구조적 합리성, 시공성, 그리고 경제성 등이 우수함을 확인하였다.

도시브랜드를 강화하기 위해서는 도시슬로건 및 정책방향, 행정서비스, 공공디자인 등이 일관성을 가지고 추진되어야 한다. 그 중에서 정책과 디자인은 도시브랜드를 직접적으로, 그리고 가시적으로 드러낼 수 있는 수단으로 도시브랜드 강화방법이 다. 공공의 문제는 제도적인 장치를 통해 해결할 수 있는데 문제의 원인과 사회적 여건, 대상 등이 다양하여 다수의 이해관 계자가 다각적인 접근을 통해 문제의 실마리를 찾을 수 있다. 또한 여러 가지 상황들이 복합적으로 작용하기 때문에 그 문 제의 공간적, 인문적, 기능적 요인들에 대한 제도들이 상호 유기적으로 작용할 때 정책목표를 보다 효과적으로 달성할 수 있다. 따라서 사회문제를 해결하기 위한 공공정책은 다양한 영역에서 분야 간 융합을 시도하고 이를 통해 혁신적인 공공서 비스를 제시해야 할 시점이다. 보다 효율적인 정책목표 달성을 위한 정책과 디자인의 혁신적인 연계방안에 대하여 다음과 같이 제언한다. 첫째, 사회문제 해결은 공공정책의 주요한 의제로서 다수의 행정기구 간 협업이 요구된다. 둘째, 사회문제 해결을 위한 정책과 디자인의 실행연계를 위해서는 정책관리자가 필요하다. 셋째, 동일한 목표달성을 위한 사업계획의 이 행에 있어서 다수의 분야 혹은 담당자의 상시적인 소통이 이루어질 수 있도록 관계망을 형성하려는 노력이 필요하다. 넷째, 사회문제 해결을 위한 정책을 효과적으로 실행하기 위해서는 정보의 공유 및 참여확대를 통한 홍보가 필요하다.

For reinforced soil slopes with anchors, additional slope reinforcement using anchors is highly difficult due to their interference with previously installed anchors. This case study presents the applicability of high pressure jet nail for the reinforcement of slopes where additional reinforcement is needed due to the loss of tensile force in the anchors.

In this study aims at exploring the use of steel frame as an innovative method of improving the seismic performance of link beams. Also, the effect of diagonal reinforcement in link beam is evaluated in comparison to conventional reinforcement.

The natural hazard occurrences such as landslides, debris flows and natural/artificial slope failures were mainly caused by typhoons and extremely heavy rainfall. In order to reduce these natural hazards the efficient countermeasure methods were need to reduce the landslide and debris flow caused by variations of precipitation patterns. The positively countermeasure coping with the debris flow hazards should have to estimate mainly progress to construction of barrier facilities based on the predicted results of potential hazard types and its scales as well as establish and enforce actively maintenance of the barrier facilities. In addition we also emphasized the necessary to the types of barrier facilities and institution improvement in order to positively hazard reduction of debris flow.

This study examines whether the reinforcement theory would be effectively applied to teaching assistant robots between a robot and a student in the same way as it is applied to teaching methods between a teacher and a student. Participants interact with a teaching assistant robot in a 3 (types of robots: positive reinforcement vs. negative reinforcement vs. both reinforcements) by 2 (types of participants: honor students vs. backward students), within-subject experiment. Three different types of robots, such as ‘Ching-chan-ee’ which gives ‘positive reinforcement’, ‘Um-bul-ee’ which gives ‘negative reinforcement’, and ‘Sang-bul-ee’ which gives both ‘positive and negative reinforcement’ are designed based on the reinforcement theory and the token reinforcement system. Participants’ task performance and reaction rate are measured according to the types of robots and the types of participants. In task performance, the negative reinforcement robot is more effective than the other two types, but regarding the number of stimulus, the less the stimulus is, the more effective the task performance is. Also, participants showed the highest reaction rate on the negative reinforcement robot which implies that the negative reinforcement robot is most effective to motivate students. The findings demonstrate that the participants perceive the teaching assistant robot not as a toy but as a teaching assistant and the reinforcement interaction is important and effective for teaching assistant robots to motivate students. The results of this study can be implicated as an effective guideline to interaction design of teaching assistant robots.