Нейросеть распознала роды, саксофонистов и кенгуру в четырехмиллионом фотоархиве

Life – еженедельный американский новостной журнал, выходивший с 1936 до 1972 год. Легендой LIFE сделали его фотографии – многие снимки стали символами эпохи и культурными иконами. Теперь инженеры из Google решили оживить культовый журнал.

С помощью машинного обучения 4 миллиона изображений из архивов журнала Life были снабжены тегами и объединены в интерактивную энциклопедию. Фотографиям были проставлены тысячи ярлыков, от kangaroo до saxophonist. Но можно пойти и еще глубже – искусственный интеллект смог распознать и детей, делающих смешные рожи (baby making funny faces), также просто, как и находить обувь (dancing shoe), и даже помечать изображения как «спокойные» (calm) или изображающие «комфорт» (comfort).

Для этого проекта Google использовал алгоритм аннотирования изображения на основе содержимого снимков (Google’s Image Content-based Annotation, ICA). Ядро этой системы – глубокая нейронная сеть, используемая в поиске фотографий Google и обученная на миллионах изображений. После простановки меток на изображения сами метки были сгруппированы. Близкие метки (например, больница, врач, медсестра, медицинская процедура) были объединены с помощью метода ближайшего соседа.