«Зловещая долина»: прокладывая путь к новой эпохе в музыкальном творчестве

Кэтрин Джуэлл, Отдел распространения информации и цифрового контента, ВОИС

В 2010 г. австралийский певец и автор песен Чарльтон Хилл и музыкальный технолог Джастин Шейв объединились, чтобы основать в Сиднее компанию «Uncanny Valley» («Зловещая долина»), которая занимается новейшими технологиями и находится на переднем крае развития музыкальной индустрии. Чарльтон Хилл, который также возглавляет в «Зловещей долине» отдел инноваций, рассказывает о планах компании в отношении ускорения, демократизации и трансформации процесса создания музыкальных произведений при помощи искусственного интеллекта (ИИ). В 2020 г. основатели «Зловещей долины» совместно со своей коллегой Кэролайн Пеграм сформировали команду Австралии и выиграли первый истории Евровидения конкурс песен, созданных ИИ.

Когда мы говорим о «зловещей долине», как правило, возникает ассоциация с неприятными ощущениями, которые испытывают люди, когда имеют дело с чем-то не вполне человеческим. Как у вас появилась мысль о том, чтобы назвать свою компанию «Зловещая долина»?

Это название придумал Джастин Шейв, вместе с которым мы основали компанию. Поразмыслив над значением этого названия, я понял, что наше предназначение – быть музыкальной компанией, применяющей передовые технологии в отрасли, которую мы оба знаем, как свои пять пальцев.

Джастин - пианист с классическим образованием и музыкальный технолог с опытом работы в области компьютерных наук, а я – автор и исполнитель песен. Мы оба проявляем активный интерес к инновациям. В 2010 г., когда мы основали компанию, в музыкальной индустрии происходили тектонические сдвиги, поэтому имело смысл работать с коллегой, который придерживается прогрессивных взглядов. У нас всегда был открытый подход к выбору партнеров для сотрудничества, и мы не ограничивали их круг музыкантами и продюсерами традиционалистской школы. Я думаю, что нам удалось воплотить название компании в ее работе. Можно сказать, что мы пытаемся преодолеть зловещую долину, в которой оказалась музыкальная индустрия, что, вероятно, является одним из самых интересных проблем нашего времени.

Расскажите нам о своей бизнес-модели.

У нас есть два источника доходов. Один из них – это заказы на создание оригинальной музыки или повторное микширование музыки (когда вы берете известную лицензированную песню и воссоздаете ее с новым вокалистом), а другой – роялти, которые поступают к нам при трансляции этих композиций. В Австралии мы работаем над рядом проектов, в том числе, например, над австралийской версией реалити-шоу Survivor («Последний герой»), которому нужно много музыки, чтобы двигаться вперед. Эти доходы стимулируют повседневную деятельность компании и обеспечивают средствами наши более новаторские проекты в области ИИ и машинного обучения.

Расскажите нам о своей работе над «дополненной творческой реальностью».

Это невероятно интересно. Официально мы начали работать на данном направлении в 2019 г., когда мы в сотрудничестве с подразделением Creative Labs («Лаборатория творческих проектов») компании Google и начинающими австралийскими музыкантами провели эксперимент по использованию машинного обучения для разработки ряда передовых решений, которые они могли бы использовать при написании песен. Их вклад сыграл бесценную роль на этапе разработки этих решений.

В целом музыканты с удовольствием участвовали в этом проекте, но, когда им казалось, что разрабатываемые решения ограничивают их творческую свободу, они не стеснялись нам об этом говорить. Так, например, наше программное приложение AD LIBBER, которое призвано стимулировать новые идеи в процессе написания слов для песен, понравилось одному музыканту, но было воспринято в штыки другим музыкантом, у которого был талант поэта-песенника. Другое приложение (Demo Memo) позволяло музыкантам напеть или просвистеть мелодию, а затем обеспечивало ее переложение с использованием любого музыкального инструмента по их выбору, что значительно ускоряло создание демо-версий песен. Это понравилось всем музыкантам.

Данный эксперимент дал нам прекрасную возможность опробовать все эти концепции. Мы продолжили их развивать при помощи нашего музыкального программного модуля MEMU, в котором находят свое отражение проводимые нами исследования. Архитектура MEMU позволяет нам надеяться на то, что нам удастся решить проблему квантификации музыки и эмоций.

MEMU предлагает музыкантам возможность выразить внутреннее содержание своей музыки при помощи различных эмоций и средств.

Не могли бы вы остановиться на этом более подробно?

Наша цель – понимание и квантификация тех эмоциональных реакций, которые вызывает музыка, а также процессов, связанных с созданием мелодий и песен. Речь не о том, чтобы вывести формулу создания хитов, а о чем-то более глубоком. Мы изучаем комбинации различных слов, мелодий и последовательностей аккордов, а также те чувства, которые они вызывают у людей, для того, чтобы лучше понять характер воздействия того или иного музыкального произведения на восприятие. Мы хотим разобраться в радостных и грустных эмоциях и объяснить это компьютеру. Это довольно сложно. Невероятно, но факт: сейчас в нашем распоряжении имеются вычислительные ресурсы и наработки, позволяющие анализировать все слова и мелодии, когда-либо написанные тем или иным музыкантом, и генерировать новые идеи, которые могут превратиться в новые песни или позволить ему продвигаться вперед в своем творчестве.

Расскажите нам более подробно о программном модуле MEMU.

MEMU – это мощный программный модуль, который позволяет микшировать и совмещать различные произведения того или иного автора в режиме реального времени. Результаты по-настоящему впечатляют. Мы говорим о новой эре в создании музыки. На наших глазах формируется экосистема авторов и партнеров, благодаря которой музыканты смогут во всеуслышание заявлять о себе, а также отслеживать любые случаи трансляции своих произведений и получать за них вознаграждение. Способность MEMU воспринимать и микшировать постоянный поток музыки в реальном времени – это действительно нечто из ряда вон выходящее.

Какую реакцию вызывает MEMU у людей?

Некоторые люди восхищаются им, но опасаются, что из-за него музыканты останутся без работы. Мы к этому не стремимся. В нашем понимании MEMU – это мощный модуль, который позволит демократизировать процесс создания музыки, ускорив и удешевив его. Подобно тому, как цель Spotify – создать самый лучший плейлист в истории, цель MEMU – создать самый лучший музыкальный ландшафт в истории.

Каким образом вам удалось создать это программное решение?

Это был интересный процесс, в котором участвовали специалисты по обработке данных и креативные технологи, которые работали в сотрудничестве с музыкантами, музыкальными продюсерами и более широкой группой ученых.

Сначала мы обучили MEMU на собственном фирменном материале. Затем мы попробовали использовать материалы, охраняемые авторским правом, но, чтобы избежать риска непреднамеренного нарушения прав авторов, мы начали использовать произведения более широкого сообщества пользователей, в том числе звукозаписывающих компаний. Это позволило нам поразмышлять о том, как соотносятся авторское право и повторное сведение музыкальных произведений. Мы обнаружили скользящую шкалу реакций в зависимости от известности того или иного музыканта.

Когда музыканты становятся частью вселенной MEMU, они соглашаются разрешить ей творить замечательные и необычные вещи с их произведениями. MEMU отслеживает вклады каждого исполнителя и то, как они используются. Это эффективный способ обеспечить получение музыкантами должного вознаграждения.

Когда это было необходимо, мы использовали для обучения MEMU материалы с открытым исходным кодом, но в большинстве случаев мы разрабатывали собственные фирменные решения для создания уникальной архитектуры MEMU просто потому, что нужные нам решения не были доступны на рынке.

Разъясните, пожалуйста, что имеется в виду под различными каналами в модуле MEMU.

MEMU – это гибкий модуль, в рамках которого в настоящее время имеется множество каналов, позволяющих нам изолировать различные вселенные друг от друга. Так, например, если мы попросим звукозаписывающую компанию предоставить нам еще не выпущенные новые композиции двух их исполнителей для микширования при помощи MEMU, мы сможем создать закрытую вселенную для этого сотрудничества.

Различные каналы MEMU встроены в его архитектуру. Сначала мы создали тематические каналы, чтобы рассказывать MEMU об определенных жанрах, эмоциях и эолийском ладе в музыке, которые лежат в основе поп-музыки. Технология быстро развивается и позволяет нам приспосабливать получаемые нами вклады под разные жанры. Например, MEMU может взять произведение, которое по своему характеру относится к каналу расслабляющей музыки, и обработать его для канала энергичной музыки.

Мы работаем над ускорением процессов, связанных с созданием музыкальных произведений, улучшением отслеживаемости и использования музыки, а также расширяем представления о том, что такое песня, с тем чтобы ею можно было наслаждаться всеми доступными способами. ИИ может помочь в формировании этого обширного ландшафта.

Как это помогает музыкантам?

MEMU предлагает музыкантам возможность выразить внутреннее содержание своей музыки при помощи различных эмоций и средств. Исполнители, которые хотят повысить свою популярность, могут позволить нам получить доступ к некоторым из их композиций, с тем чтобы слушатели воспринимали их по-разному, вновь и вновь возвращаясь к каталогу их произведений. Какой музыкант откажется от того, чтобы его музыка использовалась при помощи всех этих необычных платформ и способов?

Кроме того, модуль MEMU способствует демократизации процесса создания музыки. Он способен совершенно по-новому совмещать различные музыкальные произведения, а также обеспечивать получение музыкантами причитающегося им вознаграждения. Сегодня существует просто бешеный спрос на музыку, дополняющую различные виды контента во всех его формах и проявлениях – старых и новых. MEMU помогает удовлетворить этот спрос.

Опыт платформы Twitch и других платформ показывает, что отрасль функционирует в «режиме запретов». Будущее музыки, которое олицетворяет MEMU, – это будущее, построенное на принципе «разрешай, привлекай и вознаграждай», с тем чтобы каждый оказывался в выигрыше и мог двигаться вперед.

Как именно, с вашей точки зрения, ИИ будет влиять на деятельность музыкантов?

Инструменты, основанные на использовании ИИ, способны демократизировать процесс взаимодействия музыкантов с компаниями музыкальной индустрии, а также дать им возможность извлекать из своего творчества дополнительные финансовые выгоды. Те инструменты, которые разрабатывает наша компания и другие компании аналогичного профиля, призваны совместить прогресс и технологии в рамках единой системы, построенной на принципах этики и приоритетного учета интересов музыкантов.

ИИ дополняет инструменты, имеющиеся в распоряжении музыкантов, и может способствовать преодолению входных барьеров, ускоряя творческий процесс и давая музыкантам возможность создавать хиты.

Мы работаем над ускорением процессов, связанных с созданием музыкальных произведений, улучшением отслеживаемости и использования музыки, а также расширяем представления о том, что такое песня, с тем чтобы ею можно было наслаждаться всеми доступными способами. ИИ может помочь в формировании этого обширного ландшафта.

Инструменты, основанные на использовании ИИ, способны демократизировать процесс взаимодействия музыкантов с компаниями музыкальной индустрии, а также дать им возможность извлекать из своего творчества дополнительные финансовые выгоды.

ИИ позволяет людям, у которых нет достаточных средств, использовать музыку как форму самовыражения. Это, наверное, самое волнующее из того, что ИИ может сделать в музыкальной индустрии.

Можно ли при помощи решений, основанных на использовании ИИ, создавать такую музыку, которая действительно не оставляла бы людей равнодушными?

Да. ИИ, безусловно, может помочь создавать песни, которые находят отклик в душах людей, но люди всегда будут частью этого процесса. Мы не пытаемся воссоздать человеческое исполнение, даже если то, что мы делаем, опирается на человеческое исполнение, превращает его в данные и трансформирует в другое исполнение. Идея аватара исполнителя или виртуализации исполнения – уже реальность.

Я убежден в том, что ИИ, в частности, поможет людям более полно раскрывать свою человеческую сущность, а также писать более качественную музыку.

Как вы думаете – в каких именно областях будет быстрее всего востребована и адаптирована музыка, создаваемая при помощи ИИ?

Музыканты, склонные к новаторству, уже давно экспериментируют с ИИ. ИИ неуклонно входит в основное русло развития музыкальной индустрии. Так, например, музыкальное приложение LifeScore, разработанное компанией Abbey Road с использованием ИИ, на экспериментальной основе устанавливается в автомобили Bentley, где оно генерирует музыку с учетом таких факторов, как скорость и местонахождение автомобиля. Этот факт является очень обнадеживающим.

По большому счету, люди просто ищут интересные, полезные и занимательные способы взаимодействия с окружающей действительностью. Музыка играет в этом важную роль, а ИИ ускоряет процесс создания музыки. Именно поэтому мы его и используем. ИИ, безусловно, повысит КПД деятельности человека, но ему будет сложно его заменить.

Чем обусловлен растущий интерес к ИИ в сфере музыкальных технологий?

Во-первых, опасениями «отстать от поезда», а, во-вторых, – желанием исправить допущенные ранее ошибки. Согласно некоторым ожиданиям, возможности ИИ смогут исправить создавшееся положение и проложить путь к формированию системы пропорционального вознаграждения музыкантов.

Какой вы хотели бы видеть эволюцию системы авторского права?

Поначалу (особенно на первых этапах создания MEMU) мы изучали вопрос о том, что можно было бы улучшить в системе авторско-правовой охраны, однако сейчас мы пришли к выводу о том, что «если что-то не сломалось – нет смысла его чинить». Поэтому мы будем играть по правилам до того момента, пока эти правила не поменяются.

Есть ли какая-то область, в которой, по вашему мнению, правила должны поменяться?

Как мне кажется, необходимо как-то развивать концепцию использования творческого багажа авторов различных произведений для создания новых произведений или новых источников доходов, особенно с учетом того, что при помощи соответствующих технологий можно с такой легкостью использовать их наработки с высокой отдачей.

По большому счету, люди просто ищут интересные, полезные и занимательные способы взаимодействия с окружающей действительностью. Музыка играет в этом важную роль, а ИИ ускоряет процесс создания музыки.

Этот вопрос кажется мне весьма неоднозначным, потому что я не думаю, что у нас вдруг появилось право брать весь каталог произведений того или иного автора и использовать его для создания новых композиций только лишь потому, что технологии позволяют нам это сделать. Возможно, существует и другой путь: например, предоставление разрешения на такое использование в обмен на пополнение общего фонда, предназначенного для поддержки начинающих музыкантов.

Каковы ваши планы на будущее?

После победы на конкурсе песен, написанных ИИ, мы дали себе один год на то, чтобы доказать, что нам удалось создать ценное программное решение для музыкантов и композиторов. То, чем мы занимаемся, вызывает большой интерес, и мы искренне стремимся найти подходящих партнеров для разработки таких продуктов, которые служили бы интересам как нашей компании, так и музыкального сообщества в целом. Мы участвуем в создании первого в Австралии музыкального ИИ-хаба, объединяющего представителей академического сообщества, коммерческих партнеров, ученых и начинающих музыкантов.

Будущие задачи MEMU – создание новых, интересных музыкальных произведений, а также новых источников доходов для музыкантов. Если мы в этом преуспеем, то нам удастся и создать централизованную платформу для музыкального сообщества в целях продолжения диалога о роли ИИ в музыкальной индустрии.