현대 사회에서 첨단 기술의 발전은 예술의 양상을 빠르게 변화시키고 있다. 생성형 인공지능 기술의 발전은 인류의 전유물이라 여겨왔던 창작 행위에 기존에는 보지 못했던 색다른 표현을 제공했다. 또한, 전통적 기법 을 고수하던 예술인들에게 새로운 예술 창작의 발현 방식을 제시하였다. 하지만 나날이 발전하는 인공지능 기술에 비해, 이를 활용한 구체적인 미디어아트 제작 과정 연구는 아직 국내에서는 미비하다. 본 논문은 인 공지능 기술을 활용한 미디어아트 해외 사례를 탐구한다. 그리고 Text-to-Image 인공지능 생성 모델과 게임 엔진 Unreal Engine 5를 이용하여, 국내에 자리 잡지 않은 생성형 인공지능을 활용한 작품 제작 방법론과 창 작자들에게 인공지능 이미지 생성 모델의 확장성을 제시한다.

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연 산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법 과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀 아트 결과도 함께 제시한다.

최근 많은 예술가들과 멀티미디어 산업의 전문가들은 예술과 다른 영역의 접목을 시도하고 있다.예술작품이 전자제품 디자인에 응용된 경우, 인터랙티브 게임과 접목된 경우 등을 쉽게 볼 수 있는 시대가 되었다. 사운드 아트는 소리를 매체로 사용하는 예술형태이다. 본 논문은 인터랙티브 게임과 사운드 아트와의 접목에 대해 연구하고자 한다. 소리는 인터랙티브 게임아트에서 하나의 도구로 사용될 수 있다. 본 논문에서는 오픈라이브러리 중 하나인 Minim library를 이용하여 소리를 이용한 인터랙티브 게임아트를 구현하였다.

인공생명 연구는 인공생명을 이용한 예술과 게임에 발전에 영향을 주었다. 인공생명 예술은 관람자의 상호작용을 바탕으로 이루어 져있으며, 인간의 관심이 게임에까지 미치게 되고 게임에서 최초로 수학 규칙을 이용한 The Game of Life과 사이버 펫, 아바타 및 최근 들어 타이쿤 게임(tycoon game)의 개발로 인해 게이머는 창조자의 경험과 공급자의 경험을 할 수 있는 게임이 발달 되었다. 또 이러한 인공생명 성장 임무 게임은 단순하지만 게이머의 관심을 몰입시킨 다. 본 연구는 인공생명의 탄생배경과 상호작용을 알아보고 인공생명 아트의 사례와 인공생명게임의 사례를 살펴보고 분석한다.

본 연구는 인터랙티브 미디어아트와 컴퓨터 게임의 특성을 살펴보고 비디오아트 작가 빌 비올라의 실험 게임 ‘The Night Journey’의 예술성과 게임으로서 갖는 의의에 대해 다루었다. 실험 게임 ‘The Night Journey’에 대한 게이머들의 반응은 대체로 긍정적이었지만, 한편으로 지루하고 게임의 흥미 요소를 만족시키지 못했기 때문에 게임으로 보기 어렵다는 반응도 적지 않았다. 또한 상업성이 부족하고 예술성을 강조하여 게임의 중요한 요소인 엔터테인먼트적 성격이 부족하다는 실험 게임의 한계점 또한 갖고 있다. 그러나 게임의 발전을 위해서는 예술 작품과의 비교와 함께 타 매체와의 융합 시도 등 다양한 실험이 필요함은 부정할 수 없다. 게임에 있어서는 상호작용성과 더불어 심미성이 필요하고, 인터랙티브 미디어아트 작품에는 게임 고유의 특성인 유희성과 몰입성을 가미하는 새로운 시도들이 이루어진다면, 두 매체의 성공적인 경계 확장과 발전에 큰 의의가 있으리라고 본다.

이 논문은 게임 제작에 응용할 수 있는 기존 인터랙티브 아트의 작품들을 소개하고, 작품의 아이디어와 기술의 응용 가능성에 대해 논하였다. 그리고 인터랙티브 아트의 게임 적용 사례를 살펴보았다.