Как превратить коллекцию гравюр Пушкинского музея в «умные данные» для цифровой науки

Зачем нам нужны онтологии?

Если вы когда-нибудь пытались систематизировать большой массив данных о культурных объектах, то наверняка сталкивались с проблемой: как зафиксировать не только сами факты, но и связи между ними? Традиционные базы данных хранят информацию в таблицах: название, автор, дата, техника. Но что делать, если нужно найти все работы, где изображен персонаж, который может называться по-разному (Вакх, Дионис, Бахус), изображаться с разными атрибутами (виноград, тирс, пантера) и при этом быть частью разных аллегорий (Осень, Изобилие, Опьянение)?

Именно здесь на помощь приходят онтологические модели. В отличие от таблиц, онтология описывает не просто объекты, а классы объектов и отношения между ними, социальные, культурные, исторические или географические. 

Однако не каждому проекту требуется онтологизация.

• Онтологии особенно полезны там, где важны не только сами объекты, но и отношения между ними (автор — школа — заказчик — сюжет).
• Многоуровневая интерпретация может быть полезна, если вы работаете с аллегориями, символами или сложными иконографическими программами.
• Онтология позволяет сохранять несколько версий атрибуции со ссылками на авторов — это принципиально для научной работы.
• Гравюрные серии, циклы фресок, альбомы — все это требует специальных механизмов описания, которые могут быть реализованы в ICON.

Это существенно упрощает работу с большими или сложноструктурированными коллекциями и снижает вероятность ошибки. А использование стандартных тезаурусов (Getty AAT, Iconclass) и моделей (CIDOC CRM) обеспечивает совместимость с глобальными базами данных.

От формы к смыслу: три уровня интерпретации

Наш проект — это разработка онтологической модели для описания гравюр с аллегориями времен года. В качестве материала мы взяли серию гравюр из коллекции ГМИИ им. А.С. Пушкина, в том числе серию голландского художника Герарда де Лересса «Времена года» [6, 7]. В основу легла онтология ICON (Ontology for Comprehensive Artistic Interpretations) [4], разработанная коллегами из Болонского университета специально для многоуровневой интерпретации произведений искусства [1]. 

Что делает ICON особенно привлекательной для искусствоведческих проектов? Она опирается на классическую теорию интерпретации Эрвина Панофски [3] — одного из ключевых историков искусства XX века. Панофски предложил рассматривать произведение искусства на трех уровнях, и именно эта логика лежит в основе ICON.

Первый уровень — доиконографический. На этом уровне мы фиксируем только то, что буквально видим: фигуры, объекты, действия, эмоции. Например, младенец, крылья, лук и стрелы — все это относится к первому уровню. 

Второй уровень — иконографический. Здесь мы подключаем культурные знания: определяем персонажей, сюжеты, символы. На этом уровне «ребенок с луком и стрелами» (объект распознавания) становится «Купидоном» (результат распознавания).

Третий уровень — иконологический. Это самый глубокий уровень, который направлен на поиск внутреннего значения или содержания произведения. Если на иконографическом уровне мы просто узнали персонажа, то на иконологическом мы спрашиваем: почему он изображен именно так? Какую философскую или мировоззренческую идею он воплощает в данном историческом и культурном контексте? Купидон перестает быть просто «богом любви» и становится символом эпохи — способом понять, как общество в этот момент осмысляло человеческую природу, религию или мораль.

Как устроена онтология

Для описания гравюр как физических объектов в этой онтологии используется концептуальная модель FRBRoo (Functional Requirements for Bibliographic Records object-oriented) на базе CIDOC CRM (Концептуальная эталонная модель, в 2024 году переведенная на русский язык). При этом мы внесли несколько дополнений в базовую структуру ICON:

• добавили классы для музеев и производителей, поэтому теперь там есть фиксация места хранения и производства;
• ввели географические классы для локализации изображенных сцен;
• реализовали возможность описывать гравюры как серийные произведения — это важно для работы с такими коллекциями, как «Времена года»;
• разграничили роли автора оригинала (художника) и гравера.

Эта онтология включает 43 индивидуала для описания авторов и базовых элементов, 14 индивидуалов для гравюр как физических объектов и 207 индивидуалов, относящихся к распознаванию художественных элементов и композиций. Для стандартизации терминологии мы используем Getty Art & Architecture Thesaurus (Тезаурус Гетти по архитектуре и искусству), что обеспечивает совместимость с другими ресурсами в области искусства.

Как устроено распознавание в ICON?

В центре онтологии ICON находится класс Recognition (Распознавание). Это акт интерпретации, совершаемый агентом (человеком или алгоритмом) и связывающий произведение искусства с определенным смыслом. Каждое распознавание включает три компонента: само произведение (Artwork), совершающего распознавание агента (Agent) и источник информации (Source) [4].

Для каждого уровня интерпретации существует свой подкласс Recognition.

   Доиконографическое распознавание предназначено для базовых элементов: художественных мотивов, природных элементов, действий, эмоций.

Пример для аллегории зимы из нашей коллекции: это мотивы «мужчина», «голая ветвь», «рог животного, наполненный морковью», «меховая шапка», «оливковая ветвь», «прозрачные крылья», «кутаться в плащ», «кашлять», «отворачиваться», «отстраняться», «держать в руке/руках», «парить в небе», «сидеть/восседать на облаке». Ярко выраженных эмоций в нашем примере нет [1].

          Следующий уровень — это иконографическое распознавание. Оно работает для образов, персонажей, событий (например, исторических), мест, именованных объектов, символов l и персонификаций.

В нашем примере мужчину в центре композиции мы распознаем как «Эола» (бога ветров) или «Борея» (бога северных ветров), рог животного как «рог изобилия», а три остальные мужские фигуры — как персонификации зимних месяцев [6, 7]. 

Однако трактовки изображений могут быть разными. Один исследователь видит Эола, другой — Борея. Что делать? В традиционной базе данных пришлось бы выбрать одну версию или создать громоздкую систему примечаний. В онтологии оба варианта сохраняются как отдельные экземпляры Recognition, каждый со ссылкой на источник и автора интерпретации. Это делает систему гибкой и открытой для дискуссий.

Каждое визуальное воплощение описывается как композиция из фигуры и ее атрибутов, при этом композиции могут быть сколь угодно разные. Образы могут объединяться в историю или аллегорию. Здесь мы описываем аллегорию Зимы, которая состоит из персонификаций (месяцев) и символа/символов (голая ветвь, меховая шапка) сезона.

Затем идет иконологическое распознавание — это уровень внутреннего смысла и культурных феноменов, таких как «тенденция эпохи» или «мировоззрение автора». Как писал Панофский, иконология — это интерпретация произведения как «документа» определенной цивилизации или мировоззрения. 

На аллегории Зимы в отличие от реалистичных голландских пейзажей Ларесс изображает время года через античных божеств. Природа здесь — это упорядоченный классический сюжет, где смысл постигается через аллегорию. 

Зачем разделять изображение и физический объект?

Мы принципиально разделяем описание изображения и физического объекта. Это позволяет, например, хранить данные о работах, которые физически утрачены, но описаны в источниках. В нашем примере гравюры как физические объекты мы описываем с указанием количества (в коллекции Пушкинского музея по три оттиска каждого сезона, гравюры этой же серии хранятся еще в Рейксмюсеуме [7]), а также храним их размеры, каталожные номера, даты, имена авторов прототипа и гравюры и их данные, данные правообладателей, ссылки на соответствующие страницы в «Госкаталоге» и прочие данные [6].

Что можно спросить у онтологии?

Онтология позволяет формулировать сложные запросы и вести поиск в коллекции не только по ключевым словам, но и по семантическим связям и концепциям, что может быть очень полезным искусствоведам в их исследованиях. Вот несколько примеров.

• Какие художники, представленные здесь, родились или умерли в Риме? Результат можно использовать для географического анализа.
• Какие гравюры были созданы в Нидерландах? Так можно очертить границы «художественной школы» или проследить миграцию идей.
• На каких работах Герарда де Ларесса присутствует фигура, интерпретируемая как Вакх? Ответ поможет проследить как менялось изображение Вакха у определенного автора или в определенный период времени.
• Какие визуальные элементы присутствуют в изображениях аллегории весны? Данные могут быть полезны в изучении эволюции символа.
• На каких изображениях распознается такой элемент как оливковая ветвь? Это поможет собрать все произведения, на которых изображен определенный символ. Важна и масштабируемость. Исследователь не может просмотреть 100 000 гравюр вручную, чтобы найти все изображения «оливковой ветви». Онтология делает это за секунды.
• Какие работы выгравированы Марко Грегорио Карлони по прототипам Францишека Смуглевича? Гравюра — это всегда результат работы нескольких людей: автора оригинала (inventor) и того, кто резал доску (engraver). Онтология устанавливает роль каждого участника. Она поможет мгновенно выстроить сеть: «кто чаще всего гравировал работы этого художника?» Это позволяет восстановить историю художественного влияния.
• Каков регистрационный номер и KП-код (номер в книге поступлений) гравюры (оттиска) с аллегорией осени коллекции ГМИИ им. Пушкина?

Запросы по онтологии позволяют находить произведения, связанные концептуально, даже если в их названиях или описаниях нет точных ключевых слов. Онтология связывает визуальный атрибут (виноградный венок) с персонажем (Вакх). Еще онтология позволяет проводить статистический анализ. Например, какие атрибуты чаще всего сопутствуют аллегории весны у разных мастеров. Так выявляются каноны и отступления от них.

Онтология также полезна для выявления скрытых паттернов. Так можно задать вопрос: «Связан ли выбор мифологических сюжетов (Вакх, Венера) с местом обучения художника?». Онтология сопоставит место учебы сотен мастеров с иконографией их работ и выдаст корреляцию.

Что дальше?

Созданная нами онтология Pushkin_museum_engravings_seasons.owl, построенная на основе онтологии ICON, демонстрирует, как современные методологии семантического веба могут обогатить искусствоведческие исследования. Структурированные описания произведений искусства не только облегчают анализ и поиск, но и открывают путь для количественных исследований — анализа тенденций, паттернов и эволюции иконографии.

Дальше проект может развиваться по пути интеграции с визуально-текстовыми мультимодальными моделями (VLM). Такие системы могут анализировать изображения и предлагать варианты аннотаций на основе визуальных данных и онтологических знаний. Представьте: вы загружаете незнакомую гравюру, и система предсказывает, что на ней, вероятно, изображена Флора или Церера, обосновывая это набором распознанных атрибутов. Эксперту остается только подтвердить или скорректировать предположение. 

Авторы проекта:
Дарья Тюрякова-Матвеева (идея проекта и разработка онтологии), София Федотова (участие в разработке онтологии), Юрий Омельченко (работа со SPARQL- запросами), Йолдуз Хаертдинова (работа с данными)

Ссылка на онтологию и примеры запросов к ней:

https://github.com/DariaTM/ontology-project-engravings

Источники

1. Sartini B., Baroncini S., van Erp M. et al. ICON: An Ontology for Comprehensive Artistic Interpretations // J. Comput. Cult. Herit. 2023. Vol. 16. N. 3. Article number: 59. 38 p. DOI: 10.1145/3594724.
2. Sartini B., Baroncini S., van Erp M. et al. Is dc:subject enough? A landscape on iconography and iconology statements of knowledge graphs in the semantic web // Journal of Documentation. 2023. Vol. 79. Issue 7. P. 115–136. DOI: 10.1108/JD-09-2022-0207.
3. Panofsky E., Saxl F. Classical mythology in mediaeval art // Metropolitan Museum Studies. 1933. Vol. 4. N. 2. P. 228–280. URL: https://monoskop.org/images/9/97/Panofsky_Erwin_1933_Classical_Mythology_in_Medieval_Art.pdf.
4. ICON Ontology Overview: https://br0ast.github.io/ICON/ICONOntologyDocumentationcurrenClassical Mythology in Mediaeval Artt/index-en.html.
5. Митюкова А. Б. Онтологическая модель для связывания метаданных музейных предметов // Цифровые гуманитарные исследования. 2025. № 2. С. 4–23.
6. Ссылка на коллекцию гравюр: https://goskatalog.ru/portal/#/collections?q=%D0%B3%D1%80%D0%B0%D0%B2%D1%8E%D1%80%D1%8B%20%D0%9B%D0%B5%D1%80%D0%B5%D1%81%D1%81%20%D1%81%D0%B5%D1%80%D0%B8%D1%8F%20%22%D0%92%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%B0%20%D0%B3%D0%BE%D0%B4%D0%B0%22&museumIds=2595&imageExists=null&typologyId=2.
7. Ссылка на качественные изображения тех же гравюр в коллекции другого музея:

https://id.rijksmuseum.nl/200214727 — Зима

https://id.rijksmuseum.nl/200214721 — Весна

https://id.rijksmuseum.nl/200214724 — Лето

https://id.rijksmuseum.nl/200454013 — Осень