На фестивале Ars Electronica в рамках проекта Dear Glenn компании Yamaha система ИИ дала концерт в стиле легендарного пианиста Гленна Гульда
7 сентября, на третий день фестиваля Ars Electronica в австрийском городе Линц — одного из крупнейших международных фестивалей медиаискусства — корпорация Yamaha представила первую в мире*1 фортепианную систему искусственного интеллекта (ИИ), которая способна исполнить любое произведение в стиле легендарного пианиста Гленна Гульда. Система ИИ также выступила с концертом на фестивале, и компания Yamaha уже анонсировала выпуск видеозаписи выступления. Это также один из проектов, приуроченных к празднованию 150 лет японско-австрийских отношений.
Видео
Запись концерта (выпущена сегодня)
Документальный фильм (выпущен 4 сентября)
Официальный веб-сайт проекта Dear Glenn
Также ознакомьтесь с информацией о технологиях на официальном веб-сайте ниже.
О проекте
Основные положения
- Yamaha разработала первый в мире*1 ИИ, который может исполнить любую композицию в стиле легендарного пианиста Гленна Гульда.
- На записи концерта показывается, как система ИИ исполняет композиции, которые Гульд никогда не исполнял, и взаимодействует на сцене с известными современными музыкантами.
- На дискуссии обсуждались возможности совместного творчества ИИ и человека и то, как это может повлиять на музыкальные выступления в будущем
Система состоит из механического фортепиано и программного обеспечения с функциями ИИ, которое непрерывно генерирует данные исполнения, включающие уникальную силу нажатия, темп и других характерные черты стиля Гленна Гульда, а потом передает эти данные на механическое фортепиано. В системе впервые в мире*1 применена технология глубокого обучения*2, позволяющая исполнить любое произведение в стиле легендарного пианиста Гленна Гульда, если доступны данные нотной записи, и делает это практически безупречно благодаря технологиям ИИ, которые стремительно развиваются в последние годы.
Процесс машинного обучения состоял из создания набора данных для машинного обучения из более чем 100 часов записей выступлений Гульда при полной поддержке Фонда Гленна Гульда. Чтобы поднять качество воспроизведения на новый уровень, компания Yamaha также загрузила в ИИ для анализа человеческих особенностей выступления известного современного пианиста Франческо Тристано и других пианистов, близко знакомых со стилем исполнения Гульда.
Система также включает оригинальную технологию компании Yamaha под названием AI Music Ensemble, которая практически мгновенно анализирует действия музыкантов в ансамбле, предсказывает их намерения и подстраивается под них, чтобы обеспечить взаимодействие. Это не просто автоматизированное исполнение — система воспроизводит уникальный стиль Гленна Гульда, чтобы создать вдохновляющую атмосферу совместного творчества с участием искусственного интеллекта и музыкантов.
Концерт состоялся в монастыре Св. Флориана 7 сентября, на третий день фестиваля Ars Electronica. В дополнение к фортепианному соло система ИИ исполнила фортепианный дуэт с Франческо Тристано и трио для духовых с музыкантами Брукнеровского оркестра Линца (скрипка и флейта). Это выступление «с современными артистами преодолело границы пространства и времени». Эти произведения, исполненные совместно с музыкантами, не были включены в данные машинного обучения, поэтому слушатели с большим интересом слушали, насколько хорошо система ИИ может воссоздать особенности музыкального стиля Гульда без каких-либо исходных данных и насколько хорошо она может взаимодействовать и сотрудничать с другими членами ансамбля.
После выступления зрители, заполнившие зал до отказа, разразились аплодисментами. Концерт стал одним из главных событий основной программы мероприятия AI x Music Festival.
Гленн Гульд также известен своим увлечением записью выступлений на цифровые носители и интересом к переосмыслению отношений между исполнителем и слушателями. Название проекта Dear Glenn («Дорогой Гленн») — это дань отношению музыканта, которое помогло раскрыть возможности новых технологий, а также вдохновило создателей проекта. Компания Yamaha уверена, что с помощью этого проекта представила миру новые возможности музыкального самовыражения посредством совместного творчества человека и современной технологии ИИ, вдохновляющего обе стороны.
ИИ исполнил в мастерском стиле Гленна Гульда Гольдберг-вариации И.С. Баха (BWV 988) и несколько других произведений, которые не были включены в набор данных для машинного обучения. Присутствующие внимательно слушали, чтобы понять, насколько хорошо ИИ воссоздает музыкальный талант исполнителя.
Фотография: vog.photo
Система также выступила вместе с известным современным пианистом Франческо Тристано и музыкантами из Брукнеровского оркестра Линца (скрипка и флейта) для исполнения, которое «преодолело границы пространства и времени».
Фотография: vog.photo
Комментарии от участников и членов проекта «Дорогой Гленн»
Мартин Хонзик, старший директор, FESTIVAL/PRIX/EXPORT, Ars Electronica
«Связь искусственного интеллекта с музыкой не должна быть лишь целью соревнования или демонстрацией достижений двух разных форм интеллекта. Она должна положить начало дискуссии, которая ищет формы применения, чтобы улучшить нашу способность быть человечными и совершенствовать свои виртуозные действия. Проект "Дорогой Гленн" во многих его разнообразных и замечательных проявлениях оказался подходящим примером в этом контексте и более чем соответствует высоким стандартам качества Ars Electronica».
Брайан М. Левайн, исполнительный директор, Фонд Гленна Гулда
«Мне было приятно работать со всеми вами над этим замечательным исследовательским проектом, достойному духу и наследию Гленна Гулда. Я предлагаю включить этот проект в музыкальный мейнстрим. Уверен, он вызовет живой интерес и привлечет много внимания, а также даст почву для оживленной дискуссии».
Франческо Тристано, пианист и композитор
«Границы между музыкой, людьми, машинами и алгоритмами стираются, и "мы все являемся частью этого". Я хочу выразить компании Yamaha свою глубочайшую признательность за то, что она поверила в меня и позволила мне внести свой вклад в первый ИИ, представляющий интерпретацию одного из самых провидческих музыкантов в истории фортепиано — Гленна Гульда. Этот проект имеет для меня огромное значение».
Коичи Морита, старший генеральный менеджер научно-исследовательского подразделения корпорации Yamaha
«Я хотел бы выразить искреннюю благодарность всем, кто верил в этот проект и поддерживал его. Развитие информационных технологий в 20-м веке не только поменяло устройство фортепиано, но и дало нам новые программные средства, в том числе технологию искусственного интеллекта. Мы уверены, что этот ИИ приведет к расширению границ музыкального творчества с точки зрения человеческой чувственности, и это большая часть того, что движет нашей исследовательской деятельностью. Я считаю, что, поделившись частью наших текущих результатов с любителями музыки на фестивале Ars Electronica, мы сделали еще один шаг к реализации этих новых возможностей».
Гленн Гульд
Легендарный пианист Гленн Гульд родился в 1932 году в городе Торонто, Канада, а ушел из жизни в 1982 году в возрасте всего 50 лет. Гульд получал высочайшие похвалы за свое исполнительское мастерство, в частности, за исполнение произведений И. С. Баха, начиная с дебютного альбома Bach: The Goldberg Variations, выпущенного в 1956 году. В 1964 Гульд объявил о завершении своей концертной карьеры и начал активно заниматься студийными записями, посвятив себя выпуску релизов на цифровых носителях. Гульд также был известен своими необычными привычками при игре на инструменте. Например, он мог сидеть на низком стуле или стоять, наклонившись над клавиатурой рояля, а также напевать себе под нос во время исполнения, даже в процессе студийной записи. В поздние годы Гульд записал три альбома, в том числе Bach: The Goldberg Variations, на концертном рояле Yamaha.
Фестиваль Ars Electronica
Фестиваль Ars Electronica посвящен новым тенденциям в искусстве, технологиях и науке. Его организатор — исследовательский институт медиаискусства Ars Electronica, расположенный в австрийском городе Линц. Фестиваль был впервые проведен в 1979 году, и с тех пор стал одним из крупнейших в мире мероприятий, связанных с медиаискусством. Эксперты со всего мира съезжаются в Линц для участия в фестивале, в рамках которого проводятся выставки, концерты, мероприятия и международные конференции, чтобы пообщаться и завести новые контакты.
Glenn Gould Foundation
Благотворительная организация Glenn Gould Foundation создана с целью сохранения и продвижения наследия Гленна Гульда. Ее цель — взращивать мастерство, стимулировать творчество и в целом улучшать жизнь людей силой музыки и искусства. Для реализации этих целей фонд проводит ряд специальных мероприятий, в том числе вручает Премию Гленна Гульда.
Yamaha Corporation
С момента основания в 1887 году корпорация Yamaha (штаб которой расположен в городе Хамамацу, Япония) занимается развитием деятельности, направленной на производство музыкальных инструментов и звукового оборудования, и предлагает различные продукты и услуги, связанные с музыкой и звуковым оборудованием, например, музыкальные школы Yamaha и полупроводники. Корпорация Yamaha на основе своего уникального опыта и отношения, основанных на любви к звуку и музыке, стремится создавать яркие впечатления и вдохновлять людей различных культур по всему миру.
Другие новости по теме
ИИ компании Yamaha воспроизводит стиль легендарного пианиста Святослава Рихтера, выступает с Берлинским филармоническим оркестром
Технология искусственного интеллекта компании Yamaha превращает танцора в пианиста
Yamaha и HAKUHODO i-Studio представляют экспериментальную музыкальную инсталляцию с технологией ИИ на выставке SXSW
*1: по данным на август 2019 года, по результатам собственного исследования корпорации Yamaha.
*2: глубокое обучение — это метод машинного обучения, который характеризуется многослойным использованием математических моделей (нейронных сетей) для обработки информации.