포트홀은 도로 안전과 밀접한 관련이 있으며 차량 손상 및 사고를 유발할 수 있어 신속한 발견과 보수가 필요하다. 그러나 기존의 포트홀 유지보수 방법은 인력 부족으로 인해 효율적이지 못하다. 관리를 간소화하기 위해 인공지능을 활용한 포트홀 객체 인식이 시 도되었지만, 데이터 수집의 어려움과 부족한 일반화 성능으로 이러한 접근법에도 한계가 있다. 이를 해결하기 위해, 본 연구에서는 객체 검출 모델 YOLOv8, 객체 분할 모델 SAM2, 그리고 대형 언어 모델 LLM을 결합한 PotholeSAM 프레임워크를 제안한다. 이 프레 임워크는 세 단계로 구성된다; 첫째, YOLOv8을 사용하여 이미지 내 포트홀의 위치를 검출한다; 둘째, SAM2를 활용하여 검출된 포 트홀 영역을 정밀하게 분할한다; 셋째, LLM이 분할된 영역의 밝기 정보를 분석하여 포트홀의 깊이를 추정한다. 제안된 방법은 포트 홀의 위치, 면적, 깊이에 대한 정보를 자동으로 분석하여 도로 관리에 필요한 데이터를 효율적으로 획득할 수 있다. 이를 통해 지방 정 부의 인력 부족을 완화하고 운전자에게 위험한 포트홀을 조기에 발견하여 선제적으로 대응할 수 있다.
Potholes are closely related to road safety and can cause vehicle damage and accidents. Thus, prompt detection and repair are required. However, existing pothole maintenance methods are inefficient owing to labor shortages. Attempts have been made to streamline management through the use of artificial intelligence for pothole recognition, but these approaches have limitations because of difficulties in data collection and insufficient generalization performance. To address these problems, this paper proposes the PotholeSAM framework, which combines the object detection model YOLOv8, the object segmentation model SAM2, and a large language model (LLM). This framework consists of three stages: first, YOLOv8 detects the locations of potholes within images; second, SAM2 precisely segments the detected pothole areas; third, the LLM analyzes the brightness information of the segmented regions to estimate the depths of the potholes. The proposed method automatically analyzes information on the location, area, and depth of potholes, efficiently acquiring the data necessary for road management. This can alleviate labor shortages in local governments and enable proactive responses by detecting dangerous potholes early for drivers.