Женщина-кошка, мужчина-лев
Если грим в киномюзикле «Кошки» вам показался неудачным, то работа бельгийского программиста Ксандера Стинбрюгге вызовет у вас немало эмоций. Мужчина разработал нейросеть «Humanimals», которая превращает фотографии людей в снимки животных с человеческими чертами.
Оригинальный ролик, выложенный самим создателем в Твиттере, выглядит скорее завораживающе, чем пугающе. Он показывает, как люди плавно трансформируются в различных диких кошек, переживая ужасающие метаморфозы, а потом вновь возвращают себе человеческий облик.
Пока что у нейросети нет практического применения, она является частью большого проекта Ксандера под названием «Neural Synesthesia», в котором мужчина создает произведения искусства в партнерстве с искусственным интеллектом.
Сейчас результат сложно назвать выдающимся, хотя программист шутит, что ему удалось открыть «несколько новых видов». Возможно, сиквел «Кошек» будут снимать при поддержке «Humanimals».
Как это работает
Чтобы создать этот проект Стинбрюгге совместил две генеративно-состязательных сети, StarGAN v2 и StyleGAN v2, которые находились в открытом доступе. Генеративно-состязательная сеть (GAN) также состоит из двух элементов — сеть G (Generator) и сеть D (Discriminator). Первая генерирует изображения, максимально похожие на настоящие, опираясь на предоставленную базу фотографий. Вторая пытается распознать подделку и уничтожает неудачные варианты, оставляя лишь максимально реалистичные. Из-за этого вечного состязания они и получили свое название.
StarGAN v2 способна создавать качественные изображения, даже если данные ей картинки сильно различаются по стилю. В презентации создатели показали, как сеть объединяет черты знаменитостей или животных и создает на их основе новый образ. StyleGAN v2 же не просто совмещает изображения, а генерирует совершенно новые. На ее базе работают сайты с фотографиями несуществующих людей, животных и т.д.
Мечтает ли ИИ о дискотеке?
Нельзя не упомянуть другую часть проекта Ксандера, связанную с визуализацией музыки. Он выпустил несколько роликов, демонстрирующих его успехи в этом направлении. В одном из них под спокойную мелодию плавно сменяются картины, а во втором — под биты перетекают друг в друга более абстрактные геометрические фигуры.
Вот что автор пишет о своем рабочем процессе:
- Сначала я собираю базу картинок, определяющих стиль/тему, которой должен обучиться ИИ.
- После я обучаю ИИ копировать и воссоздавать заданный визуальный стиль (это делается с использованием облака с высокой вычислительной мощью и может занимать несколько дней).
- После я выбираю аудио и обрабатываю его в программе, написанной на Python. Она выделяет отдельные признаки, которые ИИ сможет понять. Можно назвать ее переводчиком с человеческого языка на машинный.
- На последнем этапе я даю ИИ создать новый, абсолютно уникальный визуальный ряд, основанный на аудиофайле. После я занимаюсь постобработкой: вручную курирую, переставляю и синтезирую визуальные элементы в финальную работу.
Ни я, ни ИИ не являемся полноценными создателями финальной работы. Это определенно коллаборация.Другие работы, являющиеся частью проекта Ксандера Стинбрюгге «Neural Synesthesia» можно посмотреть тут.
В качестве добавки к этому материалу мы перевели интервью с художником:
Как зародилась идея «Neural Synesthesia», и какое будущее вы видите для креативных проектов, использующих искусственный интеллект?
Меня всегда завораживала эстетика. Например, горные панорамы, дизайн инди-игр, дайвинг среди коралловых рифов, психоделический опыт и фильмы Тарковского. Визуально красивые сцены помогают передать смысл без слов. Это почти как первобытный язык, на котором мы все общаемся интуитивно. Когда я познакомился с генеративно-состязательными сетями и их возможностями, мне стало интересно, к чему может привести их работа. Так и появилась «Neural Synesthesia».
Я считаю нашу совместную работу с ИИ лучшей частью моего проекта, ведь благодаря этому я не ограничен своим собственным воображением. Эта система работает с теми же идеями, что и я, однако она действует нетипично. Это направляет тебя, как создателя, в сферы, в которых ты сам никогда бы не оказался.
Наблюдение за невероятной скоростью развития сферы ИИ очень мотивирует меня, я представляю, что же будет возможным через 10 лет. В конце концов, современному глубокому обучению всего 8 лет!
Я думаю, что закон Мура приведет к более мощным вычислительным возможностям, что модели ИИ будут продолжать масштабироваться, увеличится вычислительная мощность, и что возможности этой среды будут лишь расширяться.
«Neural Synesthesia» в своей нынешней форме — это прототип. Это версия 0.1 более грандиозной идеи использовать глубокое обучение в качестве основного компонента передового интерактивного медиа-опыта будущего.
