본 논문에서 온라인 쇼핑몰에 적용을 목적으로 2차원 이미지에 기반한 가상 의상 착용 알고리즘을 설계하고 개발하였다. 기존의 가상착용 시스템은 3차원 의상 및 사용자 정보에 기반하여 비용과 시간이 많이 들어가는 문제를 가지고 있다. 본 시스템은 최근 급격히 발전된 딥러닝기술과 컴퓨터 그래픽스 기술을 활용한다. 우선, 패션영상을 시멘틱 분할 네트워크를 사용하여 옷과 신체를 영상분할하고, 자세 네트워크를 사용하여 의상과 사용자의 골격정보를 확보한다. 이 두 가지 정보를 바탕으로 의상의 골격위치와 사용자의 골격위치를 일치시킴으로서 변형에 필요한 변수를 확보하고 이를 바탕으로 영상 변형을 하여 가상착용을 수행한다. 실험결과 단순한 기하형태의 옷과 선 자세를 유지하는 패션사진과 사용자사진의 경우 만족스러운 변형 결과를 얻을 수 있었으나 다양한 의상의 형태나 자세를 갖는 경우 원만한 착용결과를 얻을 수 없었다. 완벽한 시스템은 존재할 수 없으므로 현재 기술로 적용 가능한 의상의 범위와 문제 상황을 자세히 분석하여. 이를 바탕으로 추후 연구를 방향을 설정할 수 있도록 하였다.

We present an 2D image-based Virtual Try-On (VTON) system applicable to online shopping. The proposed method and system eliminate the need for the 3-D information requirement of clothes and humans, leveraging the recent advance in DNN-based image processing and computer graphics technology. In the first step, the cloth images are parsed into clothes and parts of a human body with a semantic segmentation network. And the pose or joint information of the cloth and human images are extracted using a pose estimation network. In the second step, the segmented cloth and joint information are jointly used for matching and deforming the cloth images onto a target human image. From our full implementation and preliminary trial, many successful result with from simple shaped and posed cloths and pose images demonstrates the feasibility of VTON system. However, we also observed many failed cases due to the diverse cloth and poses. We discuss the causes of failures to identify the applicable area of the current state-of-the art technology for commercial level VTON, and long term key problems for a future VTON system.

ABSTRACT
 1. Introduction
 2. VTON system design
  2.1 Overall System Configuration
  2.2 Operating Environment and Data Set
 3. Costume split and posture analysis
  3.1 Costume Domain Segmentation Algorithm
  3.2 Posture Estimation Network Model
  3.3 Clothing Matching and Deformation Algorithm
 4. Experimental Environment and Results
  4.1 Costume segmentation algorithm performance
  4.2 Posture Estimation Algorithm Performance
  4.3 Clothing Matching and Deformation Performance
 5. Conclusion
 Reference

• Heejune Ahn(Department of Electrical & Information Eng., Seoul-Tech) | 안희준 Correspondence to