Yamaha Dear Glenn 프로젝트, Ars Electronica Festival에서 전설적인 피아니스트 글렌 굴드(Glenn Gould)의 퍼포먼스 스타일을 재현하는 AI 시스템을 공개하다
Yamaha Corporation은 오스트리아 린츠(Linz)에서 개최되는 세계 최대 미디어 아트 페스티벌 중 하나인 Ars Electronica Festival 3일차인 9월 7일에 전설적인 피아니스트인 글렌 굴드(Glenn Gould)의 스타일로 음악을 연주하면서 음악적 앙상블을 통해 인간과 상호 작용할 수 있게 해주는 딥 러닝 기술*2을 기반으로 한 세계 최초*1 인공지능(AI) 피아노 시스템을 세상에 공개하려고 합니다. AI 시스템은 오늘날 여러 명의 유명 연주자들과 함께 콘서트 공연을 가질 예정입니다. 음악과 AI의 미래에 관한 패널 세션도 열릴 예정입니다. 이 프로젝트는 150년 간 맺은 일본과 오스트리아의 관계를 기념하려는 여러 노력들 중 하나로 인정을 받았습니다.
주요 포인트
- Yamaha, AI 피아니스트와 인간 음악가의 상호 작용적 경험을 통해 전설적인 피아니스트 글렌 굴드(Glenn Gould) 스타일의 음악을 연주할 수 있는 세계 최초의 AI 시스템 공개
- 굴드(Gould)가 한 번도 연주하지 않은 곡을 포함하여 오늘날 유명 공연자들과 함께 연주하도록 설정된 인공지능(AI)
- 인공지능(AI)과 인간의 공동 창작 가능성과 음악 연주 방법에 대해 토의
디어 글렌(Dear Glenn) 공식 웹 사이트:
웹 사이트 및 동영상은 9월 4일 공개됩니다.
글렌굴드재단(Glenn Gould Foundation)의 전폭적인 지원과 함께, Yamaha는 굴드(Gould)의 연주 스타일에 대한 이해를 높이고자 100여 시간이 넘는 Gould의 연주 녹음을 분석했고 수집된 데이터를 기반으로 AI 시스템을 제작하기 위해 딥 러닝 알고리즘을 사용했습니다. AI 학습 데이터에는 굴드(Gould)의 오디오 녹음 외에도 음의 재현 품질을 새로운 수준으로 끌어올리기 위해 굴드(Gould)를 존경하고 그의 연주 스타일에 친숙한 여러 피아니스트들의 연주방법이 입력된 수작업 데이터가 들어 있습니다.
이 시스템에는 뮤지션과 상호 작용하면서 연주자의 연주를 실시간에 가깝게 분석하고 미리 예측하여 연주할 수 있게 해주는 Yamaha 고유의 AI 뮤직 앙상블 테크놀러지(AI Music Ensemble Technology)가 적용되었습니다. 이 시스템은 단순히 자동화된 성능을 넘어 AI 피아니스트와 뮤지션 사이에 조화롭고 감동적이며 서로 교감하는 듯한 느낌을 주기 위해 글렌 굴드(Glenn Gould)의 뛰어난 감각을 재현합니다.
이 AI 시스템은 축제 3일차인 9월 7일 토요일 음악 공연에서 AI를 사용하여 음악의 미래를 살펴보게 될 패널 세션 기간 중 그 베일을 벗을 예정입니다. 이 세션에는 유명 현대적인 피아니스트 프란체스코 트리스타노(Francosco Tristano)와 글렌굴드재단(Glenn Gould Foundation)의 브라이언 엠 레바인(Brian M. Levine), 그리고 AI 시스템 제작을 도와준 Yamaha Corporation의 아리카 마에자와(Akira Maezawa) 개발자가 참여합니다.
이후, AI 시스템은 세인트 플로리안(St. Florian) 수도원에서 유명 현대적인 공연자와 함께 인공지능 시스템 최초의 공개 콘서트 공연을 가질 예정입니다. 공연에는 프란체스코 트리스타노(Francosco Tristano)의 피아노 듀엣과 부르크너 오케스트라 린츠(Bruckner Orchestra Linz) 멤버들과 관악 트리오가 나옵니다. 이 프로그램에는 J.S. 바흐(Bach)의 글렌 굴드(Glenn Gould)의 대표작 골드버그 변주곡(BWV 988)뿐만 아니라, 굴드(Gould)가 한 번도 연주했던 적이 없는 바흐(Bach)의 작품 The Art of the Fugue의 Fuga inversa a 2 Clavicembali(BWV 1080/18)와 트리오 소나타 G장조(BWV 1038)도 포함됩니다. AI의 학습 데이터에는 이 노래 중 어느 것도 포함되어 있지 않기 때문에 시스템은 모방할 소스 오디오 데이터 없이 연주해야 하는 과제를 마주하게 됩니다.
글렌 굴드(Glenn Gould)는 디지털 미디어를 사용한 녹음에 대한 헌신과 출연자와 관객 간의 유대관계를 재조명하는 데 관심을 기울이는 연주자로도 유명했습니다. "디어 글렌(Dear Glenn)"이라는 프로젝트명은 신기술의 가능성을 드러내고 프로젝트의 배경에 대한 아이디어에 영감을 줄 수 있게 도움을 준 아티스트의 헌신에 갈채를 보내는 찬사입니다. Yamaha는 이 프로젝트를 통해 뮤지션들과 현대식 AI 기술 간의 공동 창작 및 상호 영감을 통해 음악적 표현의 새로운 가능성을 제시하고자 합니다.
코이치 모리타(Koichi Morita) Yamaha Corporation 연구 개발 부서 수석 부사장의 연설
역사와 전통을 토대로 성장한 악기와 음악의 세상에서 기술의 발전은 항상 음악적 표현의 가능성을 최상의 수준으로 끌어올리고 확장시켜 주었습니다. 한 가지 주된 예를 들자면 피아노인데, 이 악기는 산업 혁명을 통해 현재의 형태로 널리 보급된 악기가 된 후에도 계속 진화하고 있습니다. 20세기 정보 기술의 발전으로 인해 피아노의 하드웨어 혁명뿐만 아니라 AI 기술을 포함한 소프트웨어 혁명도 생겨났습니다. Yamaha는 AI가 인간의 감정과 민감성의 관점에서 음악적 창의성의 경계를 펼칠 수 있는 잠재력을 가지고 있다고 생각합니다. 저희는 오는 9월 Ars Electronica 행사에서 음악 애호가들과 함께 진행중인 일부 결과물을 선보이고 이를 공유함으로써 새로운 가능성을 모색할 수 있기를 기대합니다.
기술 개요
AI 시스템은 글렌 굴드(Glenn Gould) 스타일로 피아노를 연주할 수 있으며 악보 데이터를 사용하여 현장에서 아티스트가 연주하지 않았던 곡도 연주할 수 있는 기능으로도 유명합니다. 이러한 위업은 세계 최초의 딥 러닝 기술을 적용함으로써 가능합니다. 이 시스템은 연주자 피아노와 글렌 굴드(Glenn Gould) 스타일의 연주 데이터를 즉시 생성한 후 해당 데이터를 연주자 피아노로 전달하는 AI 소프트웨어로 구성되었습니다.
그림 1: AI 학습 과정. 인공지능(AI)은 자신의 공연 오디오 녹음(1단계)을 기반으로 피아노에 대한 글렌 굴드(Glenn Gould)의 감각을 분석할 뿐만 아니라 선택적 악보 사용(2단계)과 함께 글렌 굴드(Glenn Gould) 스타일로 연주할 수 있는 딥 뉴럴 신경망을 이용하여 굴드(Gould) 작품에 친숙한 다른 피아니스트의 연주 데이터도 사용했습니다. 따라서, AI는 아티스트가 녹음하지 않은 곡을 연주하는 동안에도 굴드(Gould)의 스타일을 그대로 재현할 수 있습니다(3단계).
그림 2: 앙상블에서 글렌 굴드(Glenn Gould) AI의 작동. 카메라와 마이크를 통해 연주자를 실시간으로 분석하여 글렌 굴드(Glenn Gould) AI가 연주하는 동안 연주자들과 상호 작용합니다.
패널 세션(AI 공개)
날짜:
2019년 9월 7일(토) 오후 7:00 ~ 오후 7:30
장소:
세인트 플로리안 수도원(오스트리아 린츠)
연설자:
Francesco Tristano(피아니스트), Brian M. Levine(글렌굴드재단), Norbert Trawoger(부르크너 오케스트라 린츠) , Akira Maezawa(Yamaha Corporation 개발자)
주제:
아티스트와 AI의 공동 창작 가능성
콘서트
날짜:
2019년 9월 7일(토) 오후 8:30 ~ 오후 9:00
장소:
세인트 플로리안 수도원(오스트리아 린츠)
공동 연주자:
Francesco Tristano(피아니스트), Norbert Trawoger(플루트, 부르크너 오케스트라 린츠) , Maria Elisabeth Kostler(바이올린, 부르크너 오케스트라 린츠)
연주곡:
J.S. 바흐의 골드버그 변주곡(BWV 988), The Art of the Fugue의 Fuga inversa a 2 Clavicembali(BWV 1080/18)*, 트리오 소나타 G장조(BWV 1038)* * 글렌 굴드(Glenn Gould)가 한 번도 연주하지 않았음
글렌 굴드(Glenn Gould)
1932년 캐나다 토론토에서 태어난 글렌 굴드(Glenn Gould)는 1982년 50세의 나이로 세상을 떠난 전설적인 피아니스트였습니다. 굴드(Gould)는 특별한 찬사를 받았으며 1956년에 발매된 데뷔 앨범 바흐: 골드버그 변주곡(Bach: The Goldberg Variations)을 시작으로 J.S. 바흐(Bach) 음악의 뛰어난 공연으로 유명합니다. 1964년, 굴드(Gould)는 자신의 콘서트 경력을 끝내고 디지털 미디어에 전념하며 녹음에 집중하기 시작했습니다. 굴드(Gould)는 낮은 의자에 앉아 피아노 키보드에 기대는 것을 비롯해 녹음 중에도 연주하는 동안 흥얼거리는 등 자신만의 독창적인 연주 습관으로 유명했습니다. 말년에 굴드(Gould)는 바흐(Bach)의 골드버그 변주곡(The Goldberg Variations)을 포함한 3개의 앨범을 녹음했습니다.
Ars Electronica Festival
Ars Electronica Festival은 최신 예술, 기술 및 과학을 중심으로 한 축제로 오스트리아 린츠(Linz)에 위치한 미디어 아트 연구소 Ars Electronica에서 개최합니다. 1979년 처음 개최된 이 축제는 전 세계에서 가장 큰 미디어 아트 이벤트 중 하나가 되었습니다. 페스티벌 기간 동안 토론에 참여하고 새로운 관계를 쌓기 위해 전 세계 전문가들이 린츠(Linz) 주변의 전시회, 공연, 행사 및 국제 회의에 참여합니다.
글렌굴드재단(Glenn Gould Foundation)
글렌굴드재단(Glenn Gould Foundation)의 사명은 Glenn Gould Prize를 비롯한 재단의 대표적인 활동을 통해 뛰어난 기량을 기리고 창의성을 증진시키며 음악과 예술의 힘을 통해 삶을 변화시킴으로써 글렌 굴드(Glenn Gould)의 정신과 유산을 기리는 것입니다.
관련 뉴스 자료
・피아니스트 스비아토슬라프 리히터(Sviatoslav Richter)의 감각을 재현하는 Yamaha AI와 베를린 필 하모닉 오케스트라의 공연
・댄서를 피아니스트로 탈바꿈 시킨 Yamaha 인공지능(AI)
・Yamaha AI, 피아노 듀엣, 관악 앙상블(Wind Ensemble)에서 연주자와 공동 연주
・Yamaha와 HAKUHODO i-Studio, SXSW에 AI 음악 체험관 전시
*1: 2019년 8월 Yamaha Corporation의 내부 설문조사.
*2: 딥 러닝은 머신 러닝의 한 방식으로, 정보를 처리하기 위해 신경망이라는 수학적 모델을 다층으로 사용하는 것이 특징입니다.