Многие помнят говорящие портреты из вселенной Гарри Поттера. Волшебные изображения показывали не только внешность, но личности людей. Запечатленные имели свои характеры, общались между собой и обитателями Хогвартса, сохраняли память прообразов. Теперь расскажем, как искусственные нейросети делают эту магию реальной.
Я оживлю ваше лицо с одного снимка!
В конце мая 2019 года специалисты из Центра искусственного интеллекта Samsung AI Center-Moscow и инженеры СколТеха научили нейросеть реалистично «оживлять» портреты. Система создает анимированные изображения с помощью 1-8 статичных кадров лица. Так реализуется подход few-shot learning, обучение на малом количестве примеров. Для самого точного «говорящего портрета» требуется более 32 изображений.
Создатели также использовали наработки в генеративно-состязательных нейросетях (GAN) и машинное мета-обучение. Одна модель «дорисовывает» недостающие детали, вторая пытается определить, что изображение искусственное, а не настоящее. Разработчики отмечают, что для обучения модель использует всего несколько фото или картинок. Источником материала стала база данных с видеоизображениями знаменитостей.
В обработке и анимации статичных изображений голов использовались три нейросети. Embedder (сеть для выделения признаков) разделяет изображения головы по лицевыми ориентирами на векторы, которые содержат независимую от позы информацию. Generator (сеть порождения изображений) использует их и генерирует набор сверточных слоев, которые обеспечивают устойчивость к искажениям исходника. Discriminator применяют для оценки качества и подлинности результата сети-генератора. В конце система превращает ориентиры лица человека в реалистичные фотопортреты.
Сальвадор «Франкенштейн» Дали
Чуть раньше музей Дали во Флориде «оживил» художника Сальвадора Дали. Событие приурочили к 115-му дню рождения испанца, 11 мая 2019 года. Организаторы применили технологию DeepFake, которая визуализирует сложные образы и применяет интерактивные системы. Художник не выходил за пределы экрана, но активно жестикулировал и общался с посетителями.
Музей Дали сотрудничал с компаниями Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить проект в жизнь. Картинку создавали по интервью, цитатам, архивным материалам и трехмерным моделям, а искусственный интеллект специализировался на жестах. Всего для работы понадобилось более 6000 кадров с изображением художника и 1000 часов машинного обучения. GS & P использовала эти материалы в обучении алгоритма, что позволило «изучить» лицо и тело Дали.
Модель художника дорабатывали реальные актеры, которые имели схожую с мастером внешность. Озвучку Дали сделал артист с характерным испанским акцентом. Все это создало «подделку высокого уровня», которая сопровождала гостей музея на выставке «Dali Lives». «Художник» рассказывал истории из своей жизни, цитировал самого себя, открывал дверь и «создавал» картины. Интерактивная система также реагировала на действия посетителей, отвечала на простые вопросы и позировала для селфи.
«Улыбочку!»
В середине июля этого года россиянин Денис Ширяев тоже поучаствовал в «оживлении» портретов при помощи нейросетей. Молодой человек начал работать с технологией четыре года назад, когда завел Telegram-канал об IT. Денис брал старые видео, обучал нейросеть преображать картинку и выкладывал ролики на YouTube.
После Ширяев попробовал не преобразовывать, а «оживлять» картины. Он взял семь известных работ различных художников и обучил нейронную сеть превращать портреты в живых людей. Самыми известными «подопытными» стали Мона Лиза кисти Леонардо да Винчи и Венера с работы Сандро Боттичелли.
Создание ролика заняло три месяца. В некоторых случаях Денису пришлось использовать собственную мимику, чтобы добиться эффекта реальности. Благодаря этому герои получились «настоящими»: на видео они проявляют эмоции и меняют взгляд, как настоящие люди. В будущем Ширяев планирует «дать жизнь» другим картинам с известными людьми, пейзажами и событиями.
Источники
- Dalí Lives: Museum Brings Artist Back to Life with AI (23.01.19)
- Deepfake Salvador Dalí takes selfies with museum visitors (10.05.2019)
- Few-Shot Adversarial Learning of Realistic Neural Talking Head Models (25.05.19)
- Нейросеть научили «оживлять» портреты на основе всего одного статичного изображения (22.05.19)
- Россиянин обучил нейросеть «оживлять» известные картины. Его хобби помогло увидеть другую улыбку Моны Лизы (17.06.20)
