© gettyimages.com

Life – еженедельный американский новостной журнал, выходивший с 1936 до 1972 год. Легендой LIFE сделали его фотографии – многие снимки стали символами эпохи и культурными иконами. Теперь инженеры из Google решили оживить культовый журнал.

С помощью машинного обучения 4 миллиона изображений из архивов журнала Life были снабжены тегами и объединены в интерактивную энциклопедию. Фотографиям были проставлены тысячи ярлыков, от kangaroo до saxophonist. Но можно пойти и еще глубже – искусственный интеллект смог распознать и детей, делающих смешные рожи (baby making funny faces), также просто, как и находить обувь (dancing shoe), и даже помечать изображения как «спокойные» (calm) или изображающие «комфорт» (comfort).

Размеченные плавательные судна на фотографии из архива

Для этого проекта Google использовал алгоритм аннотирования изображения на основе содержимого снимков (Google’s Image Content-based Annotation, ICA). Ядро этой системы – глубокая нейронная сеть, используемая в поиске фотографий Google и обученная на миллионах изображений. После простановки меток на изображения сами метки были сгруппированы. Близкие метки (например, больница, врач, медсестра, медицинская процедура) были объединены с помощью метода ближайшего соседа.