Алгоритм находит скрытые связи между картинами

Группа исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Microsoft создала алгоритм для обнаружения скрытых связей между картинами в Метрополитен-музее и Рейксмюсеуме (Амстердам). Чтобы найти аналогичные формы, цвета и композиционные решения на картинах разных эпох, команда использовала новый подход, который объединяет близкие изображения в древовидную структуру.

Для поиска близкого соответствия алгоритм начинает со «ствола» дерева и следует по наиболее многообещающей «ветви», пока не найдет большее количество совпадений. Структура данных улучшена по сравнению со своими предшественниками, что дает дереву возможность быстро «обрезать» себя до определенной ветки: культурная эпоха, автор или коллекция. Так ответы на новые типы запросов даются намного быстрее.

Сокровищница написанных картин велика, и связь между произведениями искусства из разных периодов времени и пространства часто упускается из виду. Даже выдающиеся искусствоведы не могут посмотреть и запомнить миллионы картин, созданных за тысячи лет, и найти неожиданные параллели в темах, мотивах и визуальных стилях.

Например, в ответ на запрос «на какой музыкальный инструмент похоже это сине-белое платье с картины», алгоритм получает изображение бело-голубой фарфоровой скрипки. Эти работы не только похожи по цвету и форме, но их связь уходит корнями в широкий культурный пласт: обмен фарфором между голландцами и китайцами.

Источники:

• Rachel Gordon (2020) Algorithm finds hidden connections between paintings at the Met
• Explore the hidden connections between art of different cultures and media
• MIT develops MosAIc algorithm to find hidden connections between art across cultures