본 연구에서는 하천 및 하구 수역의 부유 쓰레기를 실시간으로 탐지하기 위한 인스턴스 세그멘테이션 모델 RTD-YOLO(River Trash Detection-YOLO)를 제안한다. 수면 영상 기반 부유 쓰레기 데이터는 수면 반사, 배경과의 높은 유사성, 객체 간 중첩, 불규칙한 경계, 소형 객체 비중 증가 등 일반 목적 벤치마크 데이터셋과 다른 특성을 가진다. 본 연구에서는 동일한 데이터셋과 동일한 학습 및 평가 조건 에서 Ultralytics 공식 배포 모델인 YOLOv8-Seg, YOLO11-Seg, YOLO26-Seg의 성능을 비교 분석하고 그 중 가장 우수한 성능을 보인 YOLO26-Seg 아키텍처를 기반으로 RTD-YOLO를 설계하였다. 제안 모델은 입력 해상도 1280 환경에서 주요 특징 단계인 P3 및 P4의 검출 및 분류 표현력을 강화하고 P5 기반 의미 정보를 instance segmentation fusion 기반 구조로 재주입하는 semantic bridge와 segmentation 입력 정렬 구 조를 도입하였다. 실험 결과 RTD-YOLO는 YOLO26-Seg 대비 정밀도 8.52%, 재현율 10.85%, mAP@50 8.61%, mAP@50:95 9.62%의 상대적 성능 향상을 보였다. 추론 시간은 14.13 ms/img에서 15.98 ms/img로 증가하였으나 실시간 운용에는 충분한 수준을 유지하였다. 또한 공식 YOLO 버전 간 성능 변화와 비교할 때 제안 모델에서 보다 큰 성능 개선 경향이 확인되었다. 이는 부유 쓰레기 탐지와 같이 배경 간섭과 클래스 혼동이 큰 환경에서는 일반 목적 탐지 구조의 직접 적용보다 데이터 특성을 고려한 탐지·분류 중심의 구조 설계가 효과적일 수 있음을 시 사한다.

A robot usually adopts ANN (artificial neural network)-based object detection and instance segmentation algorithms to recognize objects but creating datasets for these algorithms requires high labeling costs because the dataset should be manually labeled. In order to lower the labeling cost, a new scheme is proposed that can automatically generate a training images and label them for specific objects. This scheme uses an instance segmentation algorithm trained to give the masks of unknown objects, so that they can be obtained in a simple environment. The RGB images of objects can be obtained by using these masks, and it is necessary to label the classes of objects through a human supervision. After obtaining object images, they are synthesized with various background images to create new images. Labeling the synthesized images is performed automatically using the masks and previously input object classes. In addition, human intervention is further reduced by using the robot arm to collect object images. The experiments show that the performance of instance segmentation trained through the proposed method is equivalent to that of the real dataset and that the time required to generate the dataset can be significantly reduced.