현재 존재하는 인공지능 기반 음악 생성에 관한 여러 모델과 연구는 수동 텍스트(Text) 기반 음악 생성에 대해 다루고 있다. 본 논문은 사용자의 편의성을 높이고, 창의적인 음악 생성 과정 을 더욱 원활하게 할 수 있도록 텍스트(TEXT) 프롬프트(Prompt) 자동화를 통한 음악 생성시 스템 방안을 제안한다. 그 방안으로 음원 파일을 통해 수집한 음악 분석 및 데이터화와 가사 정보에서 추출한 키워드를 기반한 장르, 가수, 앨범 등의 정보가 포함된 데이터셋(Dataset)을 구축 후, 파이썬(Python)의 자연어 처리 방법인 Konlpy를 사용하여 가사 데이터를 토큰화하고, TF-IDF(Term Frequency-Inverse Document Frequency) 벡터화를 통해 중요한 단어를 추 출한다. 또한, MFCC, 템포 등의 특징 데이터셋을 통하여 모델을 통한 감정을 예측하고, CNN 모델 및 Chatgpt를 활용한 텍스트 프롬프트를 자동생성하는 방법을 구현하여, MusicGen 모델 을 사용한 자동화 생성 프롬프트 기반 음악을 생성한다. 본 텍스트 프롬프트 자동 생성 화를 통한 음악 생성 연구의 결과는 음악 데이터 분석 및 생성 분야에 기여될 것으로 기대한다.

현대 사회에서 음악은 일상생활에 깊숙이 자리 잡아, 개인의 음악적 취향과 감정 상태에 맞는 콘텐츠를 손쉽게 찾고 소비하는 것이 중요해지고 있다. 콘텐츠 소비 증가와 더불어 제작 속도 및 효율 또한 중요한 요소로 부상하고 있다. 그러나 기존 음악 콘텐츠 제작 방식은 주로 기존 음악을 플레이리스트로 만들고 간단한 애니메이션이나 이미지를 영상으로 추가하는 방식이다. 이러한 한계를 극복하고자, 인공지능(AI) 기술을 활용하여 사용자 맞춤형 음악을 생성하고 콘 텐츠를 제공하는 어플리케이션을 개발하였다. AI 모델을 통해 사용자의 감정 상태를 분석하고, 이를 기반으로 음악적 요소를 최적화하여 개인화된 음악 콘텐츠를 생성하는 것에 목표를 두었 다. Mel-frequency cepstral coefficients(MFCC)와 템포 분석을 통해 음악 데이터의 특징을 추출하고, 이를 기반으로 사용자 감정에 부합하는 프롬프트를 생성하였다. 생성된 프롬프트는 MusicGen 모델에 입력되어, 사용자의 감정 상태와 음악적 취향을 반영한 새로운 음악을 생성 하는 데 활용하였다. 또한, ComfyUI를 활용하여 텍스트-이미지-비디오 변환 파이프라인을 구 축함으로써, 생성된 프롬프트를 기반으로 다양한 멀티미디어 콘텐츠 제작을 가능하게 하였다. 기존 음악 콘텐츠 제작 방식의 시간 및 비용 문제를 해결하고, 사용자에게 보다 정교하고 개 인화된 음악 경험을 제공하는 데 기여할 수 있을 것으로 기대된다. 향후 다양한 분야에서의 응용 가능성을 제시한다.

본 연구는 인터랙티브 미디어아트와 컴퓨터 게임의 특성을 살펴보고 비디오아트 작가 빌 비올라의 실험 게임 ‘The Night Journey’의 예술성과 게임으로서 갖는 의의에 대해 다루었다. 실험 게임 ‘The Night Journey’에 대한 게이머들의 반응은 대체로 긍정적이었지만, 한편으로 지루하고 게임의 흥미 요소를 만족시키지 못했기 때문에 게임으로 보기 어렵다는 반응도 적지 않았다. 또한 상업성이 부족하고 예술성을 강조하여 게임의 중요한 요소인 엔터테인먼트적 성격이 부족하다는 실험 게임의 한계점 또한 갖고 있다. 그러나 게임의 발전을 위해서는 예술 작품과의 비교와 함께 타 매체와의 융합 시도 등 다양한 실험이 필요함은 부정할 수 없다. 게임에 있어서는 상호작용성과 더불어 심미성이 필요하고, 인터랙티브 미디어아트 작품에는 게임 고유의 특성인 유희성과 몰입성을 가미하는 새로운 시도들이 이루어진다면, 두 매체의 성공적인 경계 확장과 발전에 큰 의의가 있으리라고 본다.

최근 미디어 아티스트 사이에서 작가가 예술을 창의적으로 표현하기 위해 로봇을 사용하는 경우가 빈번하게 일어나고 있다. 이러한 기기를 사용하기 위해서는 공학적 지식을 필수적으로 가져야 하지만, 예술가 혼자서 역할 수행 로봇을 제작하고 제어하기란 쉽지 않다. 따라서 공학적 지식이 없는 예술가는 현실 세계에서 실제로 작동하는 로봇을 이용한 작품을 만들기 위해, 공학적 지식을 갖춘 사람을 기술 파트너로 두고 함께 작업을 하는 경우가 많다. 하지만 예술적인 감각을 표현하는 목표를 가진 프로젝트의 경우 예술가의 발상을 충분히 반영할 수 있고 또한 공학적인 구현과정의 의의와 예술적 창의성의 두 가지 목표에 모두 만족할 수 있는 구현 환경을 제안하는 것은 결코 쉬운 일이 아니다. 본 연구는 예술과 공학의 공통된 영역에서 이해하기 쉽고 편리한 그리고 구현의 용이성을 만족하는 심미적 적용을 위한 프로토타입 로봇 제작 환경을 제안한다.