Нейросети ворвались в искусство в 2015 году. Начало положили две прорывные статьи. В одной инженеры представили нейросеть, которая воспроизводит свои «воспоминания», возникшие на этапе обучения, на новых изображениях. Получается что-то вроде сна — и порой жуткого! В другой работе инженеры научили нейросеть имитировать стиль художников. В этой статье мы расскажем про обе технологии подробнее.
Воспоминания нейросети
Нейросеть научили модифировать участки произвольного изображения, добавляя на них графические образы, сложившиеся при обучении на других картинках. Если нейросеть обучалась на животных, она начинает находить животных везде — на зданиях, людях, облаках. Получается жутковато.
Нейросеть, обученная на животных, находит их в необычных местах
Как это сделали? Использовались нейросети для распознавания изображений, которые по фотографии или рисунку определяют, что на них изображено. Такие нейросети состоят из десятков связанных слоев, работающих последовательно. Некоторые слои выделяют отдельные признаки (например, края или углы), другие объединяют эти простые признаки в объекты посложнее (например, ухо человека), а финальные собирают все воедино — получается человек.
Хитрость в том, что авторы заставили нейронную сеть работать задом наперед: они показывали сети случайный шум и просили «улучшить» его таким образом, чтобы на выходе получилась определенная интерпретация. Нейросети предлагалось «найти» в изображении животное, которого там нет, — и оно там появилось!
Нейросеть нашла бананы в шуме
Живое неживое
Имитация стиля художников
Основное достижение работы в том, что удалось успешно отделить смысловое содержание картины от ее стиля. Этими двумя параметрами можно управлять независимо: взять контент одного изображения, а стиль — другого. Это позволило обучаться на картинах известных художников и получать их «новые» творения.
Например, можно перенести узнаваемый стиль картины Ван Гога «Звездная ночь» (1889) на фотографию современного города — и получится новая художественная работа!
Для подобных экспериментов очень подходят работы импрессионистов. К примеру, стиль картины Моне «Сан-Джорджо Маджоре в сумерках» (1908) перенесен на современный портрет девушки:
После публикации статьи о стилях началась массовая мода на имитацию стилей известных художников. Яркий пример — приложение Prisma, взорвавшее сторы в 2016 году.
Как попробовать?
Можно воспользоваться уже существующими генераторами. Для опробования технологии DeepDream (генерация воспоминаний) подойдет deepdreamgenerator.
Для имитации стиля художников или вашего собственного стиля используйте: deepart, ostagram (для бесплатного использования надо войти через Вк или Facebook).
Программистам рекомендуем смотреть репозиторий deepdream (генерация воспоминаний), neural-style (имитация стиля) и их многочисленные форки.
Статьи
- Inceptionism: Going Deeper into Neural Networks — нейросеть воспроизводит свои воспоминания
- A Neural Algorithm of Artistic Style — нейросеть имитирует стиль художников
В следующих статьях мы расскажем про дальнейшее развитие технологий обработки изображений, а также про их применение в обработке видео. Оставайтесь с нами!
