강화학습은 지속적으로 변화하는 환경에서 최적의 해결책을 제시할 수 있도록 구현되는 머신러닝 알고리즘으로 시간 및 조건에 따라 변화하는 시스템의 최적화에 우수한 성능을 보이는 장점을 가지고 있다. 따라서, 최근 운영 조건과 시간에 따라 변화하는 상하수도 시설 및 취수원 등 현장 물환경 관리 최적화에 강화학습을 적용하기 위한 연구에 대한 관심이 높아지고 있다. 본 연구에서는 강화학습이 상하수도 시설 및 물환경 관리에 적용된 사례를 분석하였다. 상하수도 시설의 운영시 시설 운영의 목적에 맞는 처리수 수질을 유지하면서 운영에 필요한 에너지 소비 및 비용을 최소화하는 노력이 중요하다. 강화학습은 데이터에 기반한 반복적인 분석을 통해 시스템 운영의 최적 조건을 학습할 수 있으며, 다양한 연구 사례에서 강화학습의 적용을 통해 상하수도 시설 등의 운영 효율 개선이 가능함을 보여주었다. 하수처리 시설의 경우 강화학습을 활용하여 운영비의 많은 부분을 차지하는 폭기조 산소 공급과 내부 반송 펌프 운전을 최적화할 수 있으며, 정수장의 경우 약품 투입량 절감 등을 통해 운영비 절감 효과를 달성할 수 있음을 확인하였다. 또한, 용수 공급망과 저류조 운영의 최적화를 통해 상수도 및 하천 현장의 오염 발생을 저감할 수 있음을 알 수 있었다. 본 연구를 통해 강화학습을 활용하여 기존의 경험에 기반한 시설 운영 방식의 한계를 개선하고 상하수도 시설 운영 및 물환경 관리 효율 향상에 기여할 수 있음을 확인하였다

Reinforcement learning is a machine learning algorithm designed to provide optimal solutions in continuously changing environments, and it has the advantage of demonstrating excellent performance in optimizing systems that vary over time and operating conditions. Thus, there has been growing interest in applying it to the management of water and wastewater treatment plants and water intake sources, where conditions change dynamically. This study analyzed cases where reinforcement learning has been applied to water supply, wastewater treatment, and water environment management. For the operation of wastewater and water treatment facilities, it is essential to minimize energy consumption and costs while maintaining effluent water quality that meets the operational objectives. Reinforcement learning can learn optimal operating conditions for systems through data-driven iterative analysis, and various studies have demonstrated that applying reinforcement learning can improve the operational efficiency of water and wastewater treatment plants. In wastewater treatment plants, reinforcement learning can be used to optimize oxygen supply and internal mixed liquor recycle pump operation, which account for a significant portion of operating costs. In drinking water treatment plants, reinforcement learning can contribute to cost reduction by reducing coagulant usage. In addition, optimizing water supply networks and reservoir operations has been found to reduce pollution events in water supply systems and field sites. These findings suggest that reinforcement learning can overcome the limitations of the conventional experience-based facility operation approach and contribute to enhancing the efficiency of water and wastewater facility operations as well as water environment management.

요약문
ABSTRACT
1. 서 론
2. 학습 방법에 따른 머신러닝 모형 구분
    2.1 지도학습
    2.2 비지도학습
    2.3 강화학습
3. 강화학습 기술 개발 현황
    3.1 강화학습 이론 및 모형 개요
    3.2 강화학습 모형 개발 현황
    3.3 강화학습 구현을 위한 open source library
4. 강화학습의 수처리 및 물환경 관리적용 사례 및 기술 현황
    4.1 하수처리시설 운영 최적화
    4.2 상수도 시스템 및 취수원 등 현장 수질 관리
5. 강화학습의 수처리 및 현장 물환경관리 적용을 위한 미래 연구 방향
References

• 박정수(국립한밭대학교 건설환경공학과) | Jungsu Park (Department of Civil and Environmental Engineering, Hanbat National University) Corresponding author