Кому нужны музыканты-люди, когда сыграть может и искусственный интеллект? Представьте, что вы насвистели мелодию из фильмов об Индиане Джонсе — простенькую и корявую. А компьютер прослушал ее и попытался повторить. Только на органе, стилизовав под Баха…
Небольшая группа исследователей из Facebook создала систему на основе искусственных нейронных сетей, способную как раз на такое «творчество»: прослушать аудио и воспроизвести его с помощью других инструментов. Своего рода кавер-группа с искусственным интеллектом. Система получила название «универсальная сеть для переноса музыкального стиля»; «прослушав» одну композицию, она способна выдать шесть вариантов мелодии!
«Индианой Джонсом» и Бахом дело не ограничивается. Система может обработать любую песню — к примеру, Always on My Mind — и будет казаться, что ее исполняет Моцарт. «Мы стремимся воспроизвести присущую человеку способность слышать музыку и повторять ее, насвистывая или играя на каком-нибудь инструменте», — рассказывает Лайор Вольф, один из соавторов исследования. Искусственный интеллект не играет по нотам. Он просто кодирует предложенный ему файл одним способом, а расшифровывает другим.
«Сеть самостоятельно учится собственному способу представления информации, альтернативному [музыкальным] нотам», — добавил Вольф. — «Лучше всего это сравнить с кавер-версией, исполненной в другом жанре, в другом стиле». Например, в стиле Моцарта, Баха или Бетховена. Исследователи предъявили системе случайный отрывок песни Metallica, и система выдала его версию для фортепьяно.
Янив Тайгман, ещё один соавтор исследования, утверждает, что источником вдохновения послужил успех технологии переноса стиля изображения с помощью нейросетей («Странное творение робо-художника выставят на торги»). Благодаря ей стало возможным воссоздание изображения в новом стиле — как если бы Ван Гог написал чей-то портрет по фото. Хороший пример — приложение Prisma. «Мы хотели добиться того же и в музыке, которую многие считают универсальным языком», — говорит Тайгман.
На видео система берет отрывок для струнного квартета, написанный Йозефом Гайдном, и проигрывает его в стиле Моцарта. Или превращает африканские барабаны в пианино Бетховена. Результаты разнятся — где-то мелодия выходит более утонченной, где-то она погрубее: в «Моцарт-обработке» отрывок Гайдна получился удачнее, чем мелодия из «Индианы Джонса».
В статье исследователи с уверенностью заявляют: «В случае с конвертированием одного музыкального инструмента в другой наша сеть незначительно уступает или не уступает профессиональным музыкантам».
Разработка привлекла внимание Адама Робертса, который занимается вопросами ИИ в Google и работает над проектом Magenta, охватывающим машинное обучение, творчество и музыку. Он написал в своем Твиттере: «Первый удачный случай переноса стиля в музыке, о котором я слышал. Обязательно посмотрите, как африканские барабаны и свист превратились в симфонию!»
Facebook уже применяет искусственный интеллект для встроенной системы машинного перевода, которая помогает пользователям читать комментарии на иностранном языке. Но в своем блоге компания рассказала, что не планирует использовать разработку по переносу музыкального стиля для создания «какого-либо особого продукта или функции». Исследователи опубликуют код, использованный в проекте, на Github, и любой сможет им воспользоваться.
Источник: https://www.popsci.com/universal-music-translation-artificial-intelligence
