Компания Yamaha представляет на фестивале Ars Electronica проект Dear Glenn — систему ИИ, которая воспроизводит стиль исполнения легендарного пианиста Гленна Гульда
7 сентября, на третий день проведения фестиваля Ars Electronica в австрийском городе Линц — одного из крупнейших международных фестивалей медиаискусства, корпорация Yamaha представит первую в мире* фортепианную систему искусственного интеллекта (ИИ), созданную на основе технологии глубокого обучения**, которая способна исполнить любое произведение в стиле легендарного пианиста Гленна Гульда, взаимодействуя при этом с участниками музыкального ансамбля. Система искусственного интеллекта выступит вместе с известными музыкантами нашего времени. Также в рамках фестиваля состоится дискуссия на тему будущего музыки и искусственного интеллекта. Это один из проектов, приуроченных к празднованию 150-летия японско-австрийских отношений.
Основные положения
- Yamaha представит первую в мире систему ИИ, способную воспроизвести любую композицию в стиле легендарного пианиста Гленна Гульда и обеспечить взаимодействие между пианистом на основе ИИ и музыкантами.
- ИИ выступит на концерте вместе с известными современными музыкантами, исполнив в его стиле, помимо прочего, произведения, которые сам Гульд никогда не играл.
- В рамках дискуссии будут обсуждаться возможности совместного творчества ИИ и человека.
Официальный веб-сайт проекта Dear Glenn:
Специалисты компании Yamaha при всесторонней поддержке Glenn Gould Foundation проанализировали более 100 часов записей выступлений Гульда, чтобы вникнуть в его стиль исполнения. Для создания системы ИИ к полученным данным применили алгоритмы глубокого обучения. Помимо аудиозаписей самого Гульда в данные для обучения ИИ были включены записи исполнений ряда пианистов, считающихся последователями Гульда и хорошо знакомых с его стилем исполнения, что повысило степень точности воссоздания стиля до нового уровня.
Система также включает оригинальную технологию компании Yamaha под названием AI Music Ensemble, которая практически в реальном времени анализирует игру музыкантов в ансамбле, прогнозирует их дальнейшие действия и подстраивается под них, обеспечивая взаимодействие. Это не просто автоматизированное исполнение — система воспроизводит уникальный стиль Гленна Гульда, создавая вдохновляющую атмосферу совместного творчества искусственного интеллекта и музыкантов.
Система ИИ будет представлена на третий день проведения фестиваля, в субботу 7 сентября, в рамках проведения дискуссии о будущем музыкального исполнительства с использованием ИИ. В дискуссии примет участие известный современный пианист Франческо Тристано, Брайан М. Левин из Glenn Gould Foundation и разработчик корпорации Yamaha Акира Маезава, который участвовал в создании системы ИИ.
После этого в монастыре Св. Флориана система ИИ даст свое первое публичное концертное выступление в содружестве с известными современными исполнителями. ИИ выступит в дуэте с пианистом Франческо Тристано и в сопровождении трио духовых из числа музыкантов Брукнеровского оркестра Линца. В программе концерта «Гольдберг-вариации» (BWV 988) И.С. Баха, шедевральным исполнением которых известен Гленн Гульд, а также Fuga inversa a 2 Clavicembali из «Искусства фуги» Баха (BWV 1080/18) и Трио-соната соль мажор (BWV 1038), которые Гульд никогда не исполнял. Последних двух произведений нет в данных, на основе которых обучался ИИ, так что перед системой будет стоять непростая задача исполнить их без каких-либо исходных аудиоданных, которые можно было бы повторить.
Гленн Гульд также известен своей приверженностью записям выступлений на цифровые носители и интересом к переосмыслению взаимоотношений между исполнителем и слушателями. Название проекта Dear Glenn («Дорогой Гленн») — это дань уважения музыканту, чья убежденная позиция помогла раскрыть возможности новых технологий, а также вдохновила создателей проекта. Этим проектом Yamaha стремится представить миру новые возможности музыкального выражения посредством совместного творчества человека и современной технологии ИИ, вдохновляющего обе стороны.
Комментарий Коичи Морита, старшего генерального менеджера научно-исследовательского подразделения корпорации Yamaha
В мире инструментов и музыки, взращенном историей и традициями, технический прогресс постоянно расширяет возможности музыкального выражения. Один характерный пример — это фортепиано, которое продолжает эволюционировать даже после того, как получило свой блистательный вид в эпоху промышленной революции. Развитие информационных технологий в 20-м веке не только стимулировало процесс усовершенствования фортепиано, но и дало нам новые технические возможности, в том числе технологию искусственного интеллекта. Компания Yamaha убеждена, что ИИ сможет расширить границы музыкального творчества с точки зрения человеческих эмоций и чувственности. Мы стремимся исследовать новые возможности, демонстрируя наши последние разработки любителям музыки на фестивале Ars Electronica, который состоится в сентябре этого года.
Сведения о технологии
Система ИИ может воссоздать стиль игры пианиста Гленна Гульда и отличается способностью, имея в распоряжении только нотный текст сочинений, исполнять в его стиле даже те произведения, которые Гленну сыграть не довелось. Это стало возможным благодаря тому, что для решения такой задачи была впервые в мире применена технология глубинного обучения. Система состоит из механического фортепиано и программного обеспечения с функциями ИИ, которое непрерывно генерирует данные исполнения в стиле Гленна Гульда, а потом передает эти данные на механическое фортепиано.
Рисунок 1: процесс обучения ИИ. ИИ не только проанализировал стилистические особенности фортепианной игры Гленна Гульда на основе записей его выступлений (шаг 1), но и использовал данные других пианистов, которые были хорошо знакомы с Гульдом, и на основе глубокой нейронной сети научился играть в стиле Гленна Гульда, в том числе и по нотам (шаг 2). В результате ИИ удается воспроизвести стиль Гульда даже при исполнении произведений, которые музыкант не записывал (шаг 3).
Рисунок 2: Выступление ИИ Гленна Гульда с ансамблем. Анализ действий музыкантов в реальном времени с помощью камеры и микрофона позволяет ИИ Гленна Гульда взаимодействовать с музыкантами в процессе исполнения.
Дискуссия (представление технологии)
Дата:
7 сентября 2019 г. (суббота), 19:00 ~ 19:30
Место проведения:
Монастырь Св. Флориана (Линц, Австрия)
Участники:
Франческо Тристано (пианист), Брайан М. Левин (Glenn Gould Foundation), Норберт Травогер (Брукнеровский оркестр Линца), Акира Маезава (научно-исследовательское подразделение корпорации Yamaha)
Тема:
Возможности совместного творчества музыкантов и ИИ
Концерт
Дата:
7 сентября 2019 г. (суббота), 20:30 ~ 21:00
Место проведения:
Монастырь Св. Флориана (Линц, Австрия)
Исполнители:
Франческо Тристано (пианист), Норберт Травогер (флейта, Брукнеровский оркестр Линца) , Мария Элизабет Костлер (скрипка, ; Брукнеровский оркестр Линца)
В программе:
И. С. Бах — «Гольдберг-вариации» (BWV 988), Fuga inversa a 2 Clavicembali из «Искусства фуги» (BWV 1080/18)* и Трио-соната соль мажор (BWV 1038)* *Гленн Гульд не исполнял эти произведения
Гленн Гульд
Легендарный пианист Гленн Гульд родился в 1932 году в городе Торонто, Канада, а ушел из жизни в 1982 году в возрасте всего 50 лет. Гульд получал высочайшие похвалы за свое исполнительское мастерство, в частности, за исполнение произведений И. С. Баха, начиная с дебютного альбома Bach: The Goldberg Variations, выпущенного в 1956 году. В 1964 лет Гульд объявил о завершении своей концертной карьеры и начал активно заниматься студийными записями, посвятив себя выпуску релизов на цифровых носителях. Гульд также был известен своими необычными привычками при игре на инструменте. Например, он мог сидеть на низком стуле или стоять, наклонившись над клавиатурой рояля, а также напевать себе под нос во время исполнения, даже в процессе студийной записи. В поздние годы Гульд записал три альбома, в том числе Bach: The Goldberg Variations, на концертном рояле Yamaha.
Фестиваль Ars Electronica
Фестиваль Ars Electronica посвящен новым тенденциям в искусстве, технологиях и науке. Его организатор — исследовательский институт медиаискусства Ars Electronica, расположенный в австрийском городе Линц. Фестиваль был впервые проведен в 1979 году и с тех пор стал одним из крупнейших в мире мероприятий, связанных с медиаискусством. Эксперты со всего мира съезжаются в Линц для участия в фестивале, в рамках которого проводятся выставки, концерты, мероприятия и международные конференции, чтобы пообщаться и завести новые контакты.
Glenn Gould Foundation
Благотворительная организация Glenn Gould Foundation создана с целью сохранения и продвижения наследия Гленна Гульда. Ее цель — взращивать таланты, вдохновлять на творчество и в целом улучшать жизнь людей благодаря силе музыки и искусства. Для реализации этих целей фонд проводит ряд специальных мероприятий, в том числе вручает Премию Гленна Гульда.
Другие новости по теме
Технология ИИ компании Yamaha воспроизводит неповторимый исполнительский стиль легендарного пианиста Святослава Рихтера, выступает с Берлинским филармоническим оркестром
・Технология ИИ компании Yamaha трансформирует танцора в пианиста
・Технология ИИ компании Yamaha выступает полноправным участником фортепианного дуэта и ансамбля с духовыми инструментами
・Yamaha и HAKUHODO i-Studio представляют экспериментальную музыкальную инсталляцию с технологией ИИ на выставке SXSW
*: по данным на август 2019 года, по результатам собственного исследования корпорации Yamaha.
**: глубокое обучение — это метод машинного обучения, который характеризуется многослойным использованием математических моделей (нейронных сетей) для обработки информации.