논문 상세보기

DDPG 강화학습을 이용한 단자유도 진동계의 가변강성 진동제어 성능평가 KCI 등재

Performance Evaluation of Variable Stiffness Vibration Control for a Single-Degree-of-Freedom System Using DDPG Reinforcement Learning

  • 언어KOR
  • URLhttps://db.koreascholar.com/Article/Detail/449335
구독 기관 인증 시 무료 이용이 가능합니다. 4,000원
한국전산구조공학회 논문집 (Journal of the Computational Structural Engineering Institute of Korea)
한국전산구조공학회 (Computational Structural Engineering Institute of Korea)
초록

이 논문에서는 강화학습 기반 제어기와 전통적인 제어기를 동일한 조건에서 비교함으로써 구조 진동 제어 문제에서 강화학습 제 어기의 성능 특성과 한계를 규명하는 것을 목적으로 한다. 가장 단순한 비선형 제어로서 단자유도 가변 강성 시스템을 대상으로 심층 결정적 정책 경사(DDPG) 기반의 강화 학습 제어기를 설계하고, bang-bang 제어 및 제한 최적 제어와의 성능 비교를 수행하였다. 자유 진동 및 El Centro 지진 가속도에 의한 강제 진동 조건에서 공칭 성능과 센서 잡음이 존재하는 경우의 강인 성능을 분석하였다. 그 결 과, 강화학습 제어기는 자유 진동 조건에서 우수한 강인 성능을 보였으나, 강제 진동 제어에서는 기존 제어기를 일관되게 상회하지는 못하였다. 이 연구는 동일한 보상 함수와 시스템 조건 하에서 강화학습 기반 진동 제어의 실질적 기여와 적용상의 한계를 기초적으로 제시하였다.

This study aims to clarify the performance characteristics and limitations of reinforcement learning (RL)-based controllers for structural vibration control through an objective comparison with conventional control methods under identical conditions. A single-degree-of-freedom variable stiffness system is considered, and an RL-based controller is designed using the deep deterministic policy gradient (DDPG) algorithm. Its performance is compared with that of bang-bang control and clipped-optimal control. Numerical simulations are conducted for both free vibration and forced vibration under the El Centro earthquake ground acceleration, and the nominal performance and robustness against sensor noise are evaluated. The results show that the DDPG-based controller exhibits competitive robustness in free vibration control but does not consistently outperform conventional controllers in forced vibration control. These findings offer fundamental insights into the practical capabilities and inherent limitations of RL-based vibration control under equivalent objective functions and system conditions.

목차
Abstract
1. 서 론
2. 단자유도 시스템 제어기 설계
    2.1 가변 강성 단자유도 시스템
    2.2 최적 제어 기반 제어기 설계
    2.3 강화학습 기반 제어기 설계
3. 제어기 설계 결과 및 성능 비교
    3.1 수치 예제 및 제어기 설계 조건
    3.2 강화학습 기반 제어기 설계 결과
    3.3 공칭 성능 비교
    3.4 강인 성능 비교
4. 토의 및 결론
감사의 글
References
요 지
저자
  • 박원석(국립목포대학교 토목공학과 교수) | Wonsuk Park (Professor, Department of Civil Engineering, Mokpo National University, Muan, 58554, Korea) Corresponding author