본 연구에서는 영상기반 딥러닝 및 이미지 프로세싱 기법을 이용한 볼트풀림 손상검출 기법을 제안하였다. 이를 위해 먼저, 딥러닝 및 이미지 프로세싱 기반 볼트풀림 검출 기법을 설계하였다. 영상기반 볼트풀림 검출 기법은 볼트 이미지 검출 과정 및 볼트풀림 각도 추정 과정으로 구성된다. 볼트 이미지의 검출을 위하여 RCNN기반 딥러닝 알고리즘을 이용하였다. 영상의 원근왜곡 교정을 위해 호모그래피 개념을 이용하였으며 볼트풀림 각도를 추정을 위하여 Hough 변환을 이용하였다. 다음으로 제안된 기법의 성능을 검증을 위하여 거더의 볼트 연결부 모형을 대상으로 볼트풀림 손상검출 실험을 수행하였다. 다양한 원근 왜곡 조건에 대하여 RCNN 기반 볼트 검출기와 Hough 변환 기반 볼트풀림 각도 추정기의 성능을 검토하였다.

PURPOSES: In this study, algorithms were proposed for determining the crack condition of an asphalt pavement image using deep learning methods. METHODS: For the configuration of a deep learning network, the study used a Convolution Neural Network and You Only Look Once algorithms. To obtain input data for analysis, a camera was mounted on the bonnet of the vehicle to obtain images of asphalt pavement and to mark the ground-truth cracks in the asphalt pavement image. In addition, an algorithm suitable for the automatic determination function of Deep Learning was proposed in order to calculate the crack ratio and crack rating. RESULTS: The result of analysis showed that the recall rate of cracks in this system was higher from FPPW 5.0E-06 to 96.03%. Furthermore, the accuracy of the grading system was found to be 100%, enabling the determination of very accurate ratings. The rate of processing per image was 0.4448 seconds on average, and the real-time analysis of pavement images presented no problem because the assessment took place within a short time. CONCLUSIONS : Applying this system to the pavement management system is expected to reduce the time required in finishing work and to determine a quantitative crack rating.

본 연구에서는 수집영상의 매 프레임 MPC(mm/pixel coefficient) 업데이팅을 통해 축 방향과 상관없이 왜곡영상에 따른 변위를 보정하는 기법에 관해 다루고자 한다. 영상의 강제적 왜곡을 위해 다양한 촬영 각도를 설정하여 실험을 진행하였으며, 캠코더의 설치 위치를 통해 0°~55°까지 5° 단위로 12가지 촬영 각도를 조정해가며 영상을 수집·분석하였다. 본 실험에 앞서 영상기반 변위계측의 유효성 평가를 위한 예비실험을 수행하였으며, GPS 및 가속도계와 계측결과를 비교해보았을 때, 영상기반 변위계측 시스템은 충분한 유효성을 갖는다고 판단된다. 촬영 각도 별로 수집된 영상을 분석하여 구조물의 최대 진폭 및 추정 진동수를 검출하였으며, 검출결과 비교를 통해 촬영 각도에 의한 영향을 판단하고자 하였다. 또한 계측된 자유 진동으로부터 감쇠비를 추정하여 추가적인 비교를 수행 하였다. 분석 결과 최대 진폭 기준 0.325mm, 오차율 기준 5.72%의 미소한 오차를 나타냈다. 진동수 추정에서도 촬영 각도 50°를 제외 하고 전체적으로 1% 미만의 오차율을 보이며 매우 유사한 추정 결과를 나타냈으며, 촬영 각도가 변화에 따른 감쇠비는 최소 1.025% 에서 최대 1.189%의 추정결과를 보이며 촬영 각도와 상관없이 전체적으로 유사한 감쇠비를 나타냈다.

진동대를 통한 백색잡음 가진 실험과 모드별 고유진동수의 Sine wave 가진 후 자유진동 실험을 통해 다자유도 구조물의 영상기반 동특성 추정을 수행하고자 하였다. 실제 현장에 적용하기에 앞서, 15 케이스의 모형 구조물을 통한 동특성 식별을 통해 영상 기반 계측 시스템의 적용성을 검증하였다. 캠코더를 통한 계측 및 동특성 추정 결과는 LDS(Laser Displacement Sensor) 및 가속도계 를 통한 결과와 비교하여 유효성을 판단하고자 하였다. 시간 및 진동수 영역에서의 동적계측 결과, 모든 센서를 통한 계측 결과가 높은 유사성을 나타냈다. 또한 캠코더 계측 데이터를 활용한 동특성 추정 결과는 LDS 및 가속도계 계측 데이터를 통한 추정 결과와 전 체적으로 유사하게 나타나므로, 영상기반 계측을 통한 구조물 동특성 추정은 유효성이 있다고 판단된다.

본 연구에서는 보다 넓은 범위에서 영상기반 변위계측 시스템의 동특성 추정 신뢰성을 확보하기 위해 Shaking Table을 이용해 넓은 대역의 진동수와 진동수별 다양한 진폭에 대한 Sine Wave 동적실험을 실시하였다. 영상기반 변위계측을 위해 DDVS(Dynamic Displacement Vision System) 기법을 활용하였으며, DDVS 기법을 통해 구한 동적변위는 기존의 접촉·비접촉식 센서인 LVDT(Wire Type, Pole Type)과 LDS의 변위계측 결과와 비교하여 그 오차를 분석하였다. 구해진 동적변위를 FFT하여 진동수 영역에서의 정확도 비교도 함께 수행하였다. 4가지 타입의 계측센서 모두 동적변위계측 결과 최대 변위 도달 및 주기 운동 계측에 있어 대체적으로 유사한 결과를 나타냈으며, 특히 영상기반의 DDVS 기법과 LDS를 통한 계측 결과는 높은 상호 일치성을 보였다. LDS와의 비교를 통한 오차분석 결과, DDVS 기법에 의한 동적변위 계측의 정확도는 계측 대상의 진동수에 영향을 받는다고 판단되었다. 동일 가진 진동수 내에서 가해준 변위 변화에 의한 오차는 미미하였으나, 동일 발생 변위에서는 가진 진동수가 커질수록 오차 값이 증가하였다. 기존 센서인 LVDT 경우, 발생 변위가 작을 때 상대적으로 큰 오차를 나타냈으며, 이를 통해 진동계측과 같은 작은 동적변위의 계측에 한계가 존재한다고 판단된다.

We present a flow-based watercolor rendering scheme for game background images. Our scheme is composed of two stages: a flow-based abstraction stage, which is followed by a noise-based watercoloring stage. In the abstrction stage, we apply a 3D Sobel filter to accelerate the abstraction process. The abstracted image is then applied a Perlin noise-based watercoloring process to produce watercolor effects. Finally, we apply paper texture to improve the realism of the results. Among various categories of photographs, our scheme shows good results on portraits, which is a common background of game scene. We apply our scheme for several game backgrounds and produce visually pleasing watercolor effects from them.

기계에 대한 새로운 학습 방법의 등장과 함께 기계학습을 이용한 영상 인식에 대한 관심이 높다. 스마트 기기를 이용한 영상 획득이 활발해지면서, 촬영한 영상 속 생물 개체의 이름을 자동으로 알려 주는 기계학습 기반의 영상인식 기술은 대중적인 호기심을 충족시킬 뿐 아니라 생물학 및 영상인식 연구자들에게도 매력적인 주제이다. 본 발표에서는 15종의 나비 영상으로부터 나비의 형태(shape) 및 색깔과 같은 영상정보를 개체 인식에 이용하는 기계학습 기반의 나비인식 방법을 소개 한다. 우선 나비의 형태나 색깔로부터 각 종을 대표해 기계의 학습 데이터로 사용될 특징(feature) 추출을 위한 몇 가지 방법들에 대해 알아본다. 그리고 추출된 특징들을 학습 데이터로 이용해 세 가지 대표적인 기계학습 방법(베이지안 분류기, 인공신경망, 서포트 벡터 머신)을 학습시키는 방법 및 테스트 데이터를 이용한 성능평가 방법을 소개한다.

본 논문에서는 인접 4화소의 형태에 기반한 고속 방향성 영상보간 알고리즘을 제시한다. 제안한 알고리즘의 기 본 개념은 비간축 이산 웨이브릿 변환에 기초하지만, 실제로 변환이 수행되는 것이 아니라 경계방향 검출을 위해 인접 4화소의 값만 비교된다. 2×2 화소의 형태는 8개의 종류로 분류되고 각 형태에 따라 방향성 보간이 수행된다. 그러므로 제안한 알고리즘은 매우 단순하기 때문에, 1차 선형보간과 비슷한 수행시간을 나타내지만 성능은 기존의 영상보간 기 법들 보다 우수한 결과 품질을 보여준다.

본 연구에서는 마커없이 구조물의 변위를 측정할 수 있는 영상기반 변위계측 시스템(NVDMS)을 제안한다. 기존의 방식 과 제안하는 NVDMS는 크게 두 가지의 차이점이 있다. 첫째, NVDMS는 마커를 사용하지 않고 구조물의 특징점의 픽셀좌 표 변화를 추출한다. 둘째, 특징점의 픽셀좌표를 물리좌표로 변환하는 scaling factor는 기존 방식에선 마커의 크기로부터 계 산되는 반면, NVDMS에서는 카메라와 구조물사이의 거리, 각도, 초점거리로 계산된다. 3층 축소모형의 자유진동 실험에서 제안한 NVDMS로부터 얻은 변위데이터의 신뢰도를 분석하기 위해 LDS로부터 얻은 변위데이터의 비교를 하였으며, 얻어진 변위데이터를 이용하여 동특성을 분석하였다. 분석결과 NVDMS는 마커없이 구조물의 동적변위를 정밀하게 측정가능할 뿐 만 아니라 얻어진 변위데이터로부터 추출한 동특성의 신뢰도 또한 높았다.

본 연구에서는 마커없이 구조물의 변위를 측정할 수 있는 영상기반 변위계측 시스템(NVDMS)을 제안한다. 기존의 방식과 제안하는 NVDMS는 크게 두 가지의 차이점이 있다. 첫째, NVDMS는 마커를 사용하지 않고 구조물의 특징점의 픽셀좌표 변화를 추출한다. 둘째, 특징점의 픽셀좌표를 물리좌표로 변환하는 scaling factor는 기존 방식에선 마커의 크기로부터 계산되는 반면, NVDMS에서는 카메라와 구조물사이의 거리, 각도, 초점거리로 계산된다. 3층 축소모형의 자유진동 실험에서 제안한 NVDMS로부터 얻은 변위데이터의 신뢰도를 분석하기 위해 LDS로부터 얻은 변위데이터의 비교를 하였으며, 얻어진 변위데이터를 이용하여 동특성을 분석하였다. 분석결과 NVDMS는 마커없이 구조물의 동적변위를 정밀하게 측정가능할 뿐만 아니라 얻어진 변위데이터로부터 추출한 동특성의 신뢰도 또한 높았다.

Three-dimensional(3D) display technique is widely used in our daily life. Especially, to product augmented game contents which can interact with users, it is necessary to get high quality resolution image data to reconstruct 3D model more exquisitely. In this paper, we tried to expand depth image captured by Kinect using various interpolation methods(nearest neighbor, bilinear, bicubic) to adapt it to the size of original Kinect color image. To measure the quality of expanded depth image compared to original depth image, we used PSNR(Peak Signal-to-noise ratio) index. Besides, we implemented GPU parallel processing algorithm with OpenCL to interpolate a large amount of image data rapidly. As a result of the experiment, a bicubic interpolation method made an accurate depth image although it had a long time.

본 논문에서는 문턱치 기반의 영상처리 알고리즘을 이용한 인셀(in-shell)헤이즐럿과 셀드(shelled)헤이즐럿의 분류 방법을 제안한다. 헤이즐럿은 외피가 있는 인셀 형태, 내피만 있는 셀드 형태, 내피도 제거된 블랜치드 (blanched)형태, 그리고 모든 껍질을 제거한 후 알맹이를 볶아 판매하는 로스티드(roasted)형태로 제품화 된다. 그러나 생산, 이송과 가공 과정에서 외피가 쉽게 박피되기 때문에 각 단계별로 제품을 판매하기 위해서는 일차적으로 인셀 헤이즐럿과 셀드 헤이즐럿을 구별하여 제품화하는 것이 필요하다. 따라서 본 논문에서는 각 단계의 헤이즐럿 표면에 대한 영상처리 기반 분석을 바탕으로 18개의 문턱치 기반의 선별인자를 얻고 이를 바탕으로 실시간 선별이 가능한, 인셀 및 셀드 헤이즐럿의 분류 알고리즘을 제안한다. 제안한 방법을 선별에 적용한 결과 인셀 헤이즐럿의 선별 정확 도는 98%이며 나머지 셀드 헤이즐럿의 선별 정확도는 94%를 보였다.

본 논문에서는 가장 단순한 Haar 웨이블릿 변환에서 간축 연산이 생략된 RDWT 개념에 기반한 새로운 방 향성 영상보간 방법을 제시한다. 대부분의 영상보간 기법들은 성능을 높이기 위해 경계의 방향정보를 이용하지만, 경 계에 기초한 방향정보를 추출하는데 많은 연산량이 요구되는 단점이 있다. 그러므로, 최근 보간 기법에서는 경계정보 를 빠르게 추출하기 위해 WT를 활용하는 기법이 이용되고 있다. 기존 WT은 기본적으로 스케일 함수를 사용하여 간축을 수행하기 때문에, 인접 2화소간의 주파수 정보가 독립적으로 추출된다. 이렇게 간축되어 제거된 주파수 성분 은 완벽한 복원을 위해 불필요한 정보이지만, 웨이블릿을 이용한 보간에서는 외삽 연산을 제거하기 위해서 간축되지 않은 정보가 필요하다. 그러므로, 본 연구에서는 경계 방향을 빠르게 판단하고 내삽 연산만으로 보간을 수행하기 위 해서 간축 연산을 이용하지 않는 비간축 DWT, 즉 RDWT의 개념을 최초로 이용하는 단순한 보간기법을 제안한다. 그리고 추가적으로 고해상도 보간 영상의 경계부분의 화질을 개선하기 위해서 고해상도 경계화소와 저해상도 영상에 서 가장 닮은 화소 값과의 가중치 합으로 갱신하는 화소삽입 방법을 후처리 기법으로 제시한다. 실험결과 제안한 기 법은 속도면에서 3차보간보다 빠르며, 화질은 기존기법들보다 우수한 결과를 획득할 수 있었다.

최근 인간의 안전과 편의를 위해 무인 CCTV, 교통 모니터링, 객체 추적, 자동주행 시스템 등이 널리 사용되고 있지만 안개와 같은 자연 현상들이 영상의 색상정보를 사라지게 하여, 다양한 영상처리 알 고리즘이 적용되더라도 영상을 통한 정확한 정보 획득이 어렵다. 이러한 안개와 같이 실외에서 영상의 가 시성을 약화시키는 원인을 제거하기 위해 최근 여러 장의 영상을 사용하거나 추가적인 정보가 필요한 안 개제거 방법이 아닌 단일영상에서의 몇 가지 안개 제거 방법이 제안되고 있다. 본 연구에서는 He 등이 제안한 dark channel prior를 랩뷰(LabVIEW)에서 구현하여 영상의 안개 보정에 적용해보고 안개제거 가 중치를 조절하였을 때 안개제거의 정도를 비교하였다.

실감방송을 위한 차세대 디지털 텔레비전 시대에는 초고화질 영상 디스플레이 장치와 3차원 영상이 널리 보급될 전망이다. 본 논문에서는 실감방송시대의 두 축인 초고화질 영상 디스플레이 장치와 3차원 영상 시대를 대비하는 관점에서 스테레오스코픽 3차원 영상을 활용한 초고해상도 영상 생성 방안을 제안한다. 2차원 입력영상에서 확대된 2차원 영상을 얻는 기존 접근 방식을 확장하여, 3차원 영상 융합에 바탕을 둔 초고해상도 영상을 생성한다. 먼저 입력된 영상의 국부 특성을 분석하고, 평탄 영역과 비평탄 영역에 따른 적응적 영상 해상도 개선을 수행한다. 효율적 연산을 위해 평탄 영역에서는 전통적 해상도 개선 방법을 적용하고, 비평탄 영역에서는 자기 유사성을 활용한 탐색을 기반으로 3차원 영상에 담긴 부가 정보를 효과적으로 검색하고 융합하여 해상도 개선에 활용한다. 실험 결과를 통해 3차원 영상에 내재된 부가 정보의 활용이 초고해상도 영상 복원 성능을 개선함을 보인다.

영상실감을 위한 시각과 청각의 이용은 많은 발전을 이루어 왔다. 그러나 후각을 이용한 영상의 실감증대는 기술적 한계와 기초연구의 부족으로 구현되지 못하고 있다. 특히 다양한 영상에 필요한 냄새를 각각 구현하는 것은 반드시 해결해야하는 과제이다. 한 가지 방법은 유사한 냄새들의 군집을 발견하여 각 군집의 대표냄새를 사용하는 것이다. 이를 해결하기 위한 한 가지 방법은 서로 유사한 다양한 냄새를 포괄하는 냄새군집을 발견하 여 각 군집의 대표냄새를 사용하는 것이다. 이를 위해 본 연구에서는 냄새 간 쌍유사성 평정에 근거하여 영상에 빈번하게 등장하는 냄새의 군집을 탐색하였다. 먼저 300개의 다양한 냄새를 수집하여 11개의 범주로 구분한 후 각 범주별로 빈도, 선호도, 구체성에 근거하여 152개의 냄새를 선별하였다. 참가자들은 선별된 냄새로 구성 가능 한 1,018개의 냄새쌍에 대해 유사성 평정을 실시하였고 이 결과는 다차원척도법(multi-dimensional scaling, MDS) 으로 분석하였다. 냄새들의 구체성이 낮을수록 대표냄새의 사용이 용이할 것이라는 판단 하에 MDS 결과를 냄새 구체성이 낮은 순서부터 높은 범주순서로 제시하였다. 즉 꽃, 식물, 과일, 채소범주는 냄새 구체성이 낮아 대표냄 새 사용이 용이할 것 같은 범주로 (그림 1), 화학제품, 개인생활용품, 생리적 냄새, 일상적 장소는 구체성이 높은 것과 낮은 것이 섞여 있어 대표냄새 사용에 신중해야하는 범주로 (그림 2), 식재료, 음료, 음식은 구체성이 높아 대표냄새 사용에 어려운 범주로 (그림 3) 분류하였다. 본 연구의 결과는 냄새제작 비용과 시간을 줄이고 소비자 에게 합리적인 가격의 실감서비스를 제공하는데 기여할 수 있을 것이다.