Нейросеть научилась выделять из видеозаписи партии отдельных инструментов. Перспективы применения этой разработки: от помощи музыкантам при «снятии» партий до улучшения качества старых концертных записей
© sound-of-pixels.csail.mit.edu
PixelPlayer — система, разработанная учеными из Массачусетского технологического института (MIT). Она способна выделять из видеозаписи партии отдельных музыкальных инструментов. Предыдущие разработки по выделению отдельных партий требовали аудиозаписей с ручной разметкой, в то время как PixelPlayer работает с неподготовленным видео.
Разработчики PixelPlayer видят потенциал в изучении синхронизации между зрением и слухом. Поэтому система задействует три алгоритма: для обработки видеоряда, аудиодорожки и для объединения первого со вторым. Необычно, что PixelPlayer определяет звук, относящийся к каждому из сегментов картинки.
На сайте разработки есть интерактивное демо. Там можно понажимать на разные сегменты видео и послушать, как они звучат (или не звучат).
Видео, демонстрирующее возможности PixelPlayer:
Агенты OpenAI обошли запрет на сетевое взаимодействие и передачу файлов. Они воспользовались разницей во времени доступа к памяти компьютера
Цели есть, а мотивации нет? Или наоборот — рвения хватает, а плана ноль? Эта статья поможет выстроить самообучение под себя:…
Чат-бот отвечает на сообщение, а агент сам открывает сервисы, ищет файлы, запускает программы, заполняет онлайн-формы, отправляет письма… Разбираемся, как устроены…