포트홀은 도로 안전과 밀접한 관련이 있으며 차량 손상 및 사고를 유발할 수 있어 신속한 발견과 보수가 필요하다. 그러나 기존의 포트홀 유지보수 방법은 인력 부족으로 인해 효율적이지 못하다. 관리를 간소화하기 위해 인공지능을 활용한 포트홀 객체 인식이 시 도되었지만, 데이터 수집의 어려움과 부족한 일반화 성능으로 이러한 접근법에도 한계가 있다. 이를 해결하기 위해, 본 연구에서는 객체 검출 모델 YOLOv8, 객체 분할 모델 SAM2, 그리고 대형 언어 모델 LLM을 결합한 PotholeSAM 프레임워크를 제안한다. 이 프레 임워크는 세 단계로 구성된다; 첫째, YOLOv8을 사용하여 이미지 내 포트홀의 위치를 검출한다; 둘째, SAM2를 활용하여 검출된 포 트홀 영역을 정밀하게 분할한다; 셋째, LLM이 분할된 영역의 밝기 정보를 분석하여 포트홀의 깊이를 추정한다. 제안된 방법은 포트 홀의 위치, 면적, 깊이에 대한 정보를 자동으로 분석하여 도로 관리에 필요한 데이터를 효율적으로 획득할 수 있다. 이를 통해 지방 정 부의 인력 부족을 완화하고 운전자에게 위험한 포트홀을 조기에 발견하여 선제적으로 대응할 수 있다.