«Системный Блокъ» уже рассказывал, как «Союзмультфильм» вручную восстановил часть советских анимационных лент. Основная проблема старых мультфильмов — не физические повреждения и выцветание, а низкое разрешение видеозаписи.
Иллюстратор: Грета Исагулова
На помощь приходят технологии компьютерного зрения и нейросети, которые называют super-resolution. Одна из них, DeepHD от «Яндекса», увеличивает изображение и делает его четким. Разбираемся, как работает программа и возможно ли восстановить мультфильм самому.
Основная задача DeepHD состоит в улучшении изображения и видео в реальном времени. Генеративно-состязательные сети (Generative Adversarial Network, GAN) — основа программы, — повышают разрешение, дорисовывают и восстанавливают детали. Они убирают шумы и дефекты, которые возникают при передаче или сжатии изображения. Алгоритм работает как со старыми пленками, так и с трансляциями в прямом эфире. Видео, которые обработали с помощью технологии, имеют значок «dHD».
Технология состоит из двух этапов, каждый из которых имеет свою нейросеть. В одном алгоритме с картинки убираются помехи, а в другом, генераторе, изображение становится крупнее. Систему обучали на образцах в высоком разрешении, которые уменьшили для приближения к реальности.
После обработки получались «настоящий» и «искусственный» кадры с хорошим разрешением. Нейросеть «классификатор» проверяла сохранность изображения и наличие лишних элементов. «Дискриминатор» определял достоверность картинок между собой. Если «подделка» становилась «подлинником», то нейросеть справлялась со своей работой.
Большой набор данных «научил» сеть различать объекты и поверхности в различных качестве и размере. Сверхточные слои извлекают сложные свойства изображения и восстанавливают детали. Контентная функция потерь преобразует картинку в карты признаков и уменьшает расстояние между ними. Разработчики улучшили также оценку качества изображения. В этом им помогли пользователи сервиса «Яндекс.Толока», которые выбирали наиболее качественные видео.
В мае 2018 года создатели испытали DeepHD на нескольких старых советских фильмах. Среди них оказались ленты «Летят журавли» Михаила Калатозова, «Судьба человека» Сергея Бондарчука, «Иваново детство» Андрея Тарковского и другие. Зрители отметили разницу между изображениями. У героев улучшились мимика и фактура одежды, исчезли пересветы, стали заметны предметы в тени. Картины разместили на сервисе «КиноПоиск».
Осенью с помощью технологии улучшили качество 10 анимационных лент «Союзмультфильма». В подборку попали «Аленький цветочек», «Золотая антилопа», «Дюймовочка», «Бременские музыканты», циклы «Маугли» и «Котенок по имени Гав» и другие. Нейросеть повысила качество фонов, вернула детали, которые потерялись при оцифровке, и сделала персонажей четче. Отреставрированные мультфильмы тоже находятся на «КиноПоиске».
Любители-реставраторы считают, что можно «починить» старый фильм или мультфильм без сложных технологий. Необходимо иметь исходник, который можно оцифровать в Adobe Premiere и разбить на куски. Восстановление займет много времени, но результат будет похож на DeepHD.
С помощью программ Combustion и VirtualDubMod возможно поправить цвет, повысить резкость и убрать шумы. Альтернативой для них является Adobe After Effects, в котором есть рисование на видеодорожке. Похожей функцией обладает TVPaint animation с ретушью царапин и работой с несколькими кадрами одновременно.
«Лучше пешком», — говорим мы себе летом и выбираем прогулки непривычными маршрутами. А если путь не знаком — поможет приложение-навигатор.…
SpaceX, Anthropic и OpenAI готовятся стать публичными компаниями, Google и Microsoft выпустили новые модели — рассказываем, что произошло в мире…
Японская культура повседневности отличается вниманием к визуальной эстетике, типографике и деталям коммуникации. Поэтому даже самые обычные документы — билеты, рекламные…