Технология искусственного интеллекта (ИИ) превращает танцора в пианиста

22 ноября 2017 года в Токио состоялся концерт «Mai Hi Ten Yu», спонсором которого выступил Токийский университет искусств. Концерт состоялся при техническом сотрудничестве компании Yamaha, представившей оригинальную систему на базе технологии ИИ, которая преобразует движения человека в музыку. С помощью данной разработки всемирно известный танцор Кайдзи Морияма исполнил мелодии на фортепиано движениями своего танца.

Морияма дал блестящее представление, в котором его танец с помощью системы Yamaha порождал звучание красивых фортепианных мелодий. Выступление проходило под аккомпанемент ансамбля Scharoun Берлинской филармонии.

Талантливые исполнители при поддержке технологии Yamaha продемонстрировали «форму слияния движений и музыки в единое целое».

Этот спектакль стал важным достижением в поисках новых форм художественной выразительности. Yamaha продолжит развивать эту технологию с целью расширения творческих возможностей человека.

Искусственный интеллект, реализованный в системе, находящейся в настоящее время на стадии разработки, идентифицирует движения на основе анализа сигналов от датчиков четырех типов, которые закреплены на теле танцора. Система оперирует оригинальной базой данных, которая связывает движения танцора с разной высотой тона, и на ее основе генерирует мелодию, используя MIDI-данные. Затем MIDI-данные передаются на рояль Yamaha Disklavier™ и преобразуются в музыку.

Способный с высокой точностью воспроизводить богатый спектр тонов даже при легком касании клавиатуры дисклавир является незаменимым инструментом для преобразования движений танца в музыку. К тому же, здесь использовался специальный дисклавир, сконфигурированный по образу и подобию флагманского концертного рояля Yamaha CFX, чтобы максимально полно передать характер танца Мориямы.

Дисклавир

Оригинальная система Disklavier™, разработанная компанией Yamaha, представляет собой гибридный инструмент, функционирующий как обычное фортепиано, так и своего рода «механическое пианино», которое на основе подводимых сигналов автоматически и с высокой точностью воспроизводит движения клавиш и педалей. Последняя модель дисклавира, Disklavier™ ENSPIRE, включает записи большого количества композиций в исполнения всемирно известных пианистов. Эта новинка расширяет развлекательные возможности инструмента, позволяя прослушивать исполнение выдающихся музыкантов «в оригинале».

• Страница продукта

Кайдзи Морияма, танцор

Когда система искусственного интеллекта переводила мой танец в музыку, я с невероятной отчетливостью ощущал способность к точному контролю мысли и движений.

Петер Ригельбауэр, член ансамбля Scharoun Берлинской филармонии

Для нас было очень приятно аккомпанировать такому замечательному танцору, и мы очень благодарны за эту прекрасную возможность

Исао Мацусита, композитор и вице-президент Токийского университета искусств

Искусство меняется вместе со временем. В создании этого спектакля принимали участие многие люди, включая танцора и инженеров. Это поистине экстравагантный способ создания музыкальных композиций, однако предпринятая попытка открыла новые возможности и дала нам более мощный, чем когда-либо прежде толчок вдохновения.

Мотоичи Тамура, генеральный менеджер 1-го отдела разработок, отдел научных исследований и разработок, корпорация Yamaha

Мы верим, что искусственный интеллект станет мостом между людьми и звуковоспроизводящими устройствами. Мы продолжаем разработки в области ИИ, чтобы расширить для людей возможности творческого самовыражения с помощью музыкальных инструментов.