Что такое цифровой макияж и кому он может быть нужен
Цифровой макияж — это макияж, сгенерированный на фотографии при помощи инструментов работы с компьютерным зрением. В наши дни основной инструмент создания цифрового макияжа — генеративные нейросети (GAN).
Для чего
Сегодня есть несколько вариантов применения цифрового макияжа или чего-то близкого к нему. В ТикТоке есть режим примерки теней. В Photoshop недавно добавили возможность переноса макияжа: но возможность эта очень спорная, поскольку для идеальной работы опции лицо модели и лицо на фотографии-референсе должны максимально совпадать друг с другом. Наконец, у Sephora существует приложение, которое, по задумке создателей, позволяет примерить косметику разных марок.
О переносе макияжа написано немало, но ещё нет ни одной статьи, в которой бы речь была о генерации макияжа. И именно генерация макияжа — основная цель проекта, о котором мы рассказываем в этой статье.
При чём тут генерация макияжа
Работа визажиста в реальном мире — это услуга: накрасить модель для фотосессии, создать макияж для какого-то особого случая или показать человеку его лицо в другом образе. Роль макияжа в цифровом мире — скорее развлекательная: из интереса примерить на себя другую внешность или уже упомянутые маски в соцсетях. Что может объединить эти два мира? Образовательные цели.
Потренируйтесь лучше… на виртуалах
Все визажисты когда-то учатся быть визажистами. И каждому будущему визажисту необходимо освоить некие базовые навыки: например, научиться видеть базовую геометрическую композицию лица, в зависимости от формы лица и его черт подбирать тип макияжа. Также важно учитывать, что макияж может быть нужен в разных ситуациях — от похода на работу до тематической вечеринки, а значит, одни и те же инструменты и материалы можно применять совершенно по-разному, в зависимости от цели. Применение цифрового макияжа в образовательных целях позволит снять с преподавателей рутинную часть процесса обучения — и с учеником можно будет сразу переходить к более интересным задачам.
Итого: зачем нужен цифровой макияж
В результате цифровой макияж может применяться как минимум в четырёх направлениях: как инструмент для обучения будущих визажистов; как инструмент для помощи уже работающим визажистам; для примерки на себя нового образа; для создания контента.
Как это претворить в жизнь
Начало
Истоки этого проекта восходят к событиям четырёхлетней давности, когда коллега предложил Ксении на конференции Machine Learning for Creativity and Design продемонстрировать мощь искусственного интеллекта. Поскольку автор проекта Ксения Бурая умеет и программировать, и создавать макияжи, идея проекта была в том, чтобы объединить эти две области. За месяц, остававшийся до конференции, удалось создать модель, которая была способна генерировать произвольные цветовые пятна на человеческом лице.
![](https://sysblok.ru/wp-content/uploads/2022/01/image3-3.jpg)
на заре реализации проекта
По словам профессионального визажиста, на тот момент эти пятна не несли никакого смысла. В этой точке начинается развитие идеи цифрового макияжа.
Как оцифровать макияж
Чтобы понять, как работать над проектом и в какую сторону его развивать, необходимо понять цели и задачи этого проекта. В случае с цифровым макияжем нужно соотнести понятия и представления реального мира с принципами работы искусственного интеллекта.
Проблема заключается в том, что компьютер работает только с очень конкретными объектами, которые в конечном счете (на уровне процессоров и памяти) формализуются в двоичной форме. Получается, нужно переложить систему мышления визажиста на какой-то из множества формальных языков, которые способен обработать компьютер. Значит, нужно определить, что такое макияж вообще и как он может быть формализован для искусственного интеллекта.
Макияж вообще — это искусство оформления лица с помощью декоративной косметики, в котором лицо рассматривается как 3D-холст. Грубо говоря, создавая макияж, мы наносим на лицо некие цветовые пятна. С позиции искусственного интеллекта макияж — это законы расположения тех самых цветовых пятен на координатах 3D-холста.
В результате, задача генеративного макияжа для искусственного интеллекта — сгенерировать на 3D-холсте цветовые пятна таким образом, чтобы они отвечали базовым правилам композиции макияжа. Следовательно, необходимо научить модель искусственного интеллекта работать по этим правилам. Но для того, чтобы хорошо работать с 3D-объектами, в компьютерном зрении нужно делать шаги постепенно и начинать в 2D-плоскости.
Что уже получилось сделать:
![](https://sysblok.ru/wp-content/uploads/2022/01/image1-2-1.jpg)
Смотрим в светлое будущее
Идеальная модель искусственного интеллекта для цифрового макияжа должна работать на двух уровнях: базовый, на котором искусственный интеллект генерирует любой осмысленный макияж, и продвинутый, на котором генерация становится настраиваемой. На первом уровне создаётся макияж из базовых элементов. На втором уровне появляется возможность создавать композицию художественного макияжа из базовых и художественных элементов.
Говоря словами самой Ксении Бурой: “Если мы научимся генерировать макияж — значит, мы научимся и понимать его. Если мы научимся понимать его — значит, сможем помогать визажистам при обучении”.
Похожие проекты в искусстве
Двое учёных: Kang Zhang (преподаватель из Техасского университета в Далласе, США) и Jinhui Yu (преподаватель из Чжэнзянского университета в Китае) создали программу, которая способна генерировать картины в стиле Василия Кандинского времён его преподавания в Баухаусе. За основу работы они взяли книгу самого Кандинского “Точка и линия на плоскости” (1926), в которой он детально описывает принципы и правила своего искусства. Разложив творчество Кандинского на составляющие, учёные получили возможность объяснить эти принципы программе. Вот что у них получилось:
![](https://sysblok.ru/wp-content/uploads/2022/01/image4-1-1.jpg)
Вот пример настоящей картины Кандинского:
![](https://sysblok.ru/wp-content/uploads/2022/01/image2-2-2.jpg)
Эта и многие другие подобные работы показывают, что имея хорошо описанную систему, мы можем воспроизвести как минимум отдельные части творческого процесса. А значит, и творческий процесс визажиста должен быть вполне воспроизводим.
Источники
- Ксения Бурая, Цифровой макияж.
- Telegram-канал проекта Makeup & Science
- Группа проекта Makeup & Science Вконтакте
- Generation of Kandinsky Art
Совместный материал медиапроекта Системного Блока и Центра цифровых гуманитарных исследований ИТМО