На помощь приходят технологии компьютерного зрения и нейросети, которые называют super-resolution. Одна из них, DeepHD от «Яндекса», увеличивает изображение и делает его четким. Разбираемся, как работает программа и возможно ли восстановить мультфильм самому.
В чем фишка технологии?
Основная задача DeepHD состоит в улучшении изображения и видео в реальном времени. Генеративно-состязательные сети (Generative Adversarial Network, GAN) — основа программы, — повышают разрешение, дорисовывают и восстанавливают детали. Они убирают шумы и дефекты, которые возникают при передаче или сжатии изображения. Алгоритм работает как со старыми пленками, так и с трансляциями в прямом эфире. Видео, которые обработали с помощью технологии, имеют значок «dHD».
Как это работает?
Технология состоит из двух этапов, каждый из которых имеет свою нейросеть. В одном алгоритме с картинки убираются помехи, а в другом, генераторе, изображение становится крупнее. Систему обучали на образцах в высоком разрешении, которые уменьшили для приближения к реальности.
После обработки получались «настоящий» и «искусственный» кадры с хорошим разрешением. Нейросеть «классификатор» проверяла сохранность изображения и наличие лишних элементов. «Дискриминатор» определял достоверность картинок между собой. Если «подделка» становилась «подлинником», то нейросеть справлялась со своей работой.
Большой набор данных «научил» сеть различать объекты и поверхности в различных качестве и размере. Сверхточные слои извлекают сложные свойства изображения и восстанавливают детали. Контентная функция потерь преобразует картинку в карты признаков и уменьшает расстояние между ними. Разработчики улучшили также оценку качества изображения. В этом им помогли пользователи сервиса «Яндекс.Толока», которые выбирали наиболее качественные видео.
Как это отразилось на фильмах и мультфильмах?
В мае 2018 года создатели испытали DeepHD на нескольких старых советских фильмах. Среди них оказались ленты «Летят журавли» Михаила Калатозова, «Судьба человека» Сергея Бондарчука, «Иваново детство» Андрея Тарковского и другие. Зрители отметили разницу между изображениями. У героев улучшились мимика и фактура одежды, исчезли пересветы, стали заметны предметы в тени. Картины разместили на сервисе «КиноПоиск».
Осенью с помощью технологии улучшили качество 10 анимационных лент «Союзмультфильма». В подборку попали «Аленький цветочек», «Золотая антилопа», «Дюймовочка», «Бременские музыканты», циклы «Маугли» и «Котенок по имени Гав» и другие. Нейросеть повысила качество фонов, вернула детали, которые потерялись при оцифровке, и сделала персонажей четче. Отреставрированные мультфильмы тоже находятся на «КиноПоиске».
Возможно ли обойтись без DeepHD?
Любители-реставраторы считают, что можно «починить» старый фильм или мультфильм без сложных технологий. Необходимо иметь исходник, который можно оцифровать в Adobe Premiere и разбить на куски. Восстановление займет много времени, но результат будет похож на DeepHD.
С помощью программ Combustion и VirtualDubMod возможно поправить цвет, повысить резкость и убрать шумы. Альтернативой для них является Adobe After Effects, в котором есть рисование на видеодорожке. Похожей функцией обладает TVPaint animation с ретушью царапин и работой с несколькими кадрами одновременно.
Источники
- Яндекс, раздел «Технологии». DeepHD
- Как Яндекс применил компьютерное зрение для повышения качества видеотрансляций. Технология DeepHD
- DeepHD. Технология Яндекса, улучшающая изображения и видео при помощи искусственного интеллекта
- «Яндекс» использует искусственный интеллект для реставрации мультфильмов
- Форум на сайте «ProDisney.ru»
