Поднимите мне веки

Сделать хорошую фотографию непросто. Множество неприятных мелочей может испортить снимок: от плохого освещения до неудачного ракурса. Если человек не вовремя моргнул, фото можно считать неудавшимся. Facebook Research работает над алгоритмом для замены неудачно закрытых глаз открытыми.

Идея «открыть» глаза на фотопортрете не нова. Обычно процесс состоит в копировании элементов исходной фотографии и заменой там, где закрыты глаза. Например, в программе Adobe Photoshop Elements для этого есть специальный режим. Во время его использования программа предлагает выбрать другое похожее фото, где глаза у человека открыты. Разработка Adobe под названием Sensei накладывает глаза с предыдущего снимка на неудачный.

Эта функция подходит как быстрое решение проблемы, но такие детали, как освещение или направление теней могут сделать фотоснимок неестественным.

Система не всегда работает идеально. Иногда ИИ ошибается при выборе цвета глаз (верхнее фото) или когда часть глаза закрыта волосами (нижнее фото):

Facebook Research предложил новый подход замены закрытых глаз, основанный на глубинных нейросетях. Алгоритм может воссоздать утраченную информацию — для этого Facebook использует технологию генеративно-состязательных сетей (GAN). Эта же технология применялась для создания популярных в последнее время «deep fake» видео со знаменитостями.

Модель Exemplar GAN использует для обучения другие фотографии человека. Она собирает информацию о его внешности и отличительных чертах лица. Этот тип глубинного изучения требует больше исходного материала, Facebook подходит для этих целей как нельзя кстати. Здесь нейросеть может анализировать множество разных фото одного человека.

Первоначальные результаты впечатляют, но специалистам из Facebook еще предстоит найти лучший способ для обучения своего алгоритма в непростых ситуациях, когда часть глаза закрыта волосами или очками. Разработчики надеются, что технология будет полезной не только для решения проблемы закрытых глаз. Возможно, в ближайшем будущем искусственный интеллект сможет улучшить нашу внешность на фотографии профиля.

Источник: Facebook is working on AI tools to fix photos ruined by blinking