Читать нас в Telegram
улучшить изображение нейросеть
Иллюстратор: Грета Исагулова

На помощь приходят технологии компьютерного зрения и нейросети, которые называют super-resolution. Одна из них, DeepHD от «Яндекса», увеличивает изображение и делает его четким. Разбираемся, как работает программа и возможно ли восстановить мультфильм самому.

В чем фишка технологии?

Основная задача DeepHD состоит в улучшении изображения и видео в реальном времени. Генеративно-состязательные сети (Generative Adversarial Network, GAN) — основа программы, — повышают разрешение, дорисовывают и восстанавливают детали. Они убирают шумы и дефекты, которые возникают при передаче или сжатии изображения. Алгоритм работает как со старыми пленками, так и с трансляциями в прямом эфире. Видео, которые обработали с помощью технологии, имеют значок «dHD».

Обработка DeepHD в мультипликационном цикле «Маугли»

Как это работает?

Технология состоит из двух этапов, каждый из которых имеет свою нейросеть. В одном алгоритме с картинки убираются помехи, а в другом, генераторе, изображение становится крупнее. Систему обучали на образцах в высоком разрешении, которые уменьшили для приближения к реальности.

После обработки получались «настоящий» и «искусственный» кадры с хорошим разрешением. Нейросеть «классификатор» проверяла сохранность изображения и наличие лишних элементов. «Дискриминатор» определял достоверность картинок между собой. Если «подделка» становилась «подлинником», то нейросеть справлялась со своей работой.

Схема работы нейросетей при улучшении изображения. Источник

Большой набор данных «научил» сеть различать объекты и поверхности в различных качестве и размере. Сверхточные слои извлекают сложные свойства изображения и восстанавливают детали. Контентная функция потерь преобразует картинку в карты признаков и уменьшает расстояние между ними. Разработчики улучшили также оценку качества изображения. В этом им помогли пользователи сервиса «Яндекс.Толока», которые выбирали наиболее качественные видео.

Схема обработки изображения с помощью деблокинга (устранение помех сжатия) и быстрой «легкой нейросети». Источник

Как это отразилось на фильмах и мультфильмах?

В мае 2018 года создатели испытали DeepHD на нескольких старых советских фильмах. Среди них оказались ленты «Летят журавли» Михаила Калатозова, «Судьба человека» Сергея Бондарчука, «Иваново детство» Андрея Тарковского и другие. Зрители отметили разницу между изображениями. У героев улучшились мимика и фактура одежды, исчезли пересветы, стали заметны предметы в тени. Картины разместили на сервисе «КиноПоиск».

Кадр из фильма до и после применения DeepHD. Фото с официального сайта разработчиков программы

Осенью с помощью технологии улучшили качество 10 анимационных лент «Союзмультфильма». В подборку попали «Аленький цветочек», «Золотая антилопа», «Дюймовочка», «Бременские музыканты», циклы «Маугли» и «Котенок по имени Гав» и другие. Нейросеть повысила качество фонов, вернула детали, которые потерялись при оцифровке, и сделала персонажей четче. Отреставрированные мультфильмы тоже находятся на «КиноПоиске».

Примеры обработанных кадров анимаций в DeepHD

Возможно ли обойтись без DeepHD?

Любители-реставраторы считают, что можно «починить» старый фильм или мультфильм без сложных технологий. Необходимо иметь исходник, который можно оцифровать в Adobe Premiere и разбить на куски. Восстановление займет много времени, но результат будет похож на DeepHD.

Мультфильм, который прошёл «домашние» оцифровку и реставрацию

С помощью программ Combustion и VirtualDubMod возможно поправить цвет, повысить резкость и убрать шумы. Альтернативой для них является Adobe After Effects, в котором есть рисование на видеодорожке. Похожей функцией обладает TVPaint animation с ретушью царапин и работой с несколькими кадрами одновременно.

Источники

  1. Яндекс, раздел «Технологии». DeepHD
  2. Как Яндекс применил компьютерное зрение для повышения качества видеотрансляций. Технология DeepHD
  3. DeepHD. Технология Яндекса, улучшающая изображения и видео при помощи искусственного интеллекта
  4. «Яндекс» использует искусственный интеллект для реставрации мультфильмов 
  5. Форум на сайте «ProDisney.ru»