Как алгоритмы научились видеть ночные кошмары и рисовать «под Ван Гога»
© Wikipedia Commons
Нейросети ворвались в искусство в 2015 году. Начало положили две прорывные статьи. В одной инженеры представили нейросеть, которая воспроизводит свои «воспоминания», возникшие на этапе обучения, на новых изображениях. Получается что-то вроде сна — и порой жуткого! В другой работе инженеры научили нейросеть имитировать стиль художников. В этой статье мы расскажем про обе технологии подробнее.
Нейросеть научили модифировать участки произвольного изображения, добавляя на них графические образы, сложившиеся при обучении на других картинках. Если нейросеть обучалась на животных, она начинает находить животных везде — на зданиях, людях, облаках. Получается жутковато.
Как это сделали? Использовались нейросети для распознавания изображений, которые по фотографии или рисунку определяют, что на них изображено. Такие нейросети состоят из десятков связанных слоев, работающих последовательно. Некоторые слои выделяют отдельные признаки (например, края или углы), другие объединяют эти простые признаки в объекты посложнее (например, ухо человека), а финальные собирают все воедино — получается человек.
Хитрость в том, что авторы заставили нейронную сеть работать задом наперед: они показывали сети случайный шум и просили «улучшить» его таким образом, чтобы на выходе получилась определенная интерпретация. Нейросети предлагалось «найти» в изображении животное, которого там нет, — и оно там появилось!
Основное достижение работы в том, что удалось успешно отделить смысловое содержание картины от ее стиля. Этими двумя параметрами можно управлять независимо: взять контент одного изображения, а стиль — другого. Это позволило обучаться на картинах известных художников и получать их «новые» творения.
Например, можно перенести узнаваемый стиль картины Ван Гога «Звездная ночь» (1889) на фотографию современного города — и получится новая художественная работа!
Для подобных экспериментов очень подходят работы импрессионистов. К примеру, стиль картины Моне «Сан-Джорджо Маджоре в сумерках» (1908) перенесен на современный портрет девушки:
После публикации статьи о стилях началась массовая мода на имитацию стилей известных художников. Яркий пример — приложение Prisma, взорвавшее сторы в 2016 году.
Можно воспользоваться уже существующими генераторами. Для опробования технологии DeepDream (генерация воспоминаний) подойдет deepdreamgenerator.
Для имитации стиля художников или вашего собственного стиля используйте: deepart, ostagram (для бесплатного использования надо войти через Вк или Facebook).
Программистам рекомендуем смотреть репозиторий deepdream (генерация воспоминаний), neural-style (имитация стиля) и их многочисленные форки.
В следующих статьях мы расскажем про дальнейшее развитие технологий обработки изображений, а также про их применение в обработке видео. Оставайтесь с нами!
Как цифровизация меняет работу историка? Что происходит с историческими источниками, когда их начинают превращать в базы данных, карты и цифровые…
Профессор из университета Нью-Йорка утверждает, что OpenAI взялась за математическую задачу, узнав о его незаконченной работе
Искусственный интеллект меняет не только творческий процесс, но и понимание того, что значит сегодня быть автором. Мы все чаще тревожимся:…