|
본 제안연구는 크게 보면 (1) 시각적 표정과 동작의 파악과 예술적 재구성, 그리고 (2) 청각적∙촉각적 감성의 분석과 재구성 등 2분야의 연구로 구성되어 있고, 각 분야에는 2개씩의 세부연구 주제가 제안되어 있다.
(1) 시각적 표정과 동작의 파악과 예술적 재구성
(가) 얼굴표정의 파악과 상호작용적 표정 생성 본 세부연구는 딥러닝을 사용하여 사용자∙관객 얼굴표정의 시간적 변화를 파악하고, 그에 대응하는 감성적 표정을 상호작용적으로 생성하는 데에 그 목표를 둔다. 얼굴인식에 관한 연구는 최근 비약적으로 발전하였지만, 표정 인식은 표정 데이터의 부족으로 인하여 아직도 그 성숙도가 높지 않다.
본 세부연구에서는 ① 사용자∙관객의 순간적 표정을 파악하고, ② 어느 정도 시간을 두고 점진적으로 순간 표정을 점진적으로 통합하여 안정된 표정을 구한 후, ③ 그 점진적 변화와 도메인 지식, 아티스트의 입력, 대화의 자연어 처리 등을 이용하여 학습하고 이를 이용하여 ④ 사용자∙관객의 감성에 대응하는 표정을 생성한다. 표정의 생성에는 아티스트의 직관과 여러 종류의 GAN, variational autoencoder 등의 딥러닝 방식을 시도한다.
(나) 예술적 동작의 파악과 시각적 개체에서의 상징적 표현 컴퓨터나 기계에서 2D/3D 도형이나 그림 등의 개체에 사용자∙관객의 감정에 대응하거나 콘텐츠에 어울리는 예술적 변형이나 동작을 부여하는 연구를 수행한다. 이 세부연구에서는 무용 등에서 예술적 동작을 획득하고 그를 재해석하여 구상적 혹은 추상적 개체에서 이를 적용하는 것에 그 목표를 둔다. 객체가 인간 신체와 비슷한 그래픽 모델이나 로봇 같은 휴머노이드일 경우에는 모션캡처를 사용하여 동작을 복사할 수 있으나, 일반 도형이나 추상적 물체에는 직접적인 적용이 불가능하다. 따라서 유일한 무보(무용에서의 악보)를 창시한 Rudolph von Laban의 동작 표기법 Labanotation과 해석 공간인 Laban movement analysis를 사용하여 동작을 해석하고 임의의 객체에 재해석한다.
본 세부과제에서는 영상에서 CNN을 사용하여 무용가 skeleton의 동작을 추출하고 딥러닝에 의한 동작 생성에 그 목표를 둔다.
(2) 청각적∙촉각적 감성의 분석과 재구성
(가) 상호작용의 상황에 따른 감성적 화음생성 화음 진행(chord progression)은 음악의 양식, 정서, 구조 등에 결정적인 영향을 미치는 요소이다. 동일한 멜로디라도 화음의 진행에 따라 그 감성적인 전달이 달라진다. 본 제안연구에서는 사용자∙관객의 감정 상태를 파악하고 그에 따른 화음 진행을 생성하는 데에 그 목표를 둔다. 본 연구에서는 클래식, 재즈, 팝 등의 다양한 화음 진행을 학습하고 추천하는 딥러닝 알고리즘을 개발한다. 화음 진행 연구는 아직 초보 단계에 있으며 단순히 자연어처리에서 개발된 방법을 적용하는 수준에 머물러 있는데, 본 제안연구에서는 음악 작곡 이론을 딥러닝 프레임웍 안에 구현하여, 보다 음악적인 chord progression 생성 알고리즘 개발과 사용자∙관객 감성과의 조화를 목적으로 한다.
(나) 촉각음악의 생성과 전달 피부로 느끼는 촉각음은 귀로 듣는 청음애 비해 주파수 대역과 진폭이 매주 좁지만 음악적인 감성을 효과적으로 전달할 수 있다. 특히 청각장애인에겐 유일한 음악적인 수단일 수 있다. 이 세부연구의 목표는 사용자∙관객 감성에 부합하는 촉각음을 생성하는 딥러닝 알고리즘의 개발이다.
|
