Традиционная китайская живопись издавна считается престижным видом искусства и высоко ценится в мире. Этот вид живописи предполагает, что художник рисует тушью или минеральными красками по бумаге или шёлку. Сейчас многие картины китайских художников оцифрованы и хранятся в архивах.
Оценить образцы китайского искусства могут только высококлассные эксперты, и это долгая и муторная работа. Чтобы симулировать профессиональную оценку картин китайских художников, группа исследователей создала глубокую многоракурсную параллельную свёрточную сеть Inkthetics.
Как устроена нейросеть для оценки китайской живописи
Художественное своеобразие традиционной китайской живописи не позволяет использовать модели, которые исследователи разработали для оценки европейских картин. Китайскую живопись отличают уникальные визуальные характеристики. Например, в рамках этого направления существует термин «пятицветные чернила» 一 пять видов затенения, которые отличаются плотностью краски, а эстетическое восприятие картин зависит от сочетания локальных и глобальных визуальных сигналов.
В отличие от других похожих нейросетей, Inkthetics учитывает два типа признаков:
- критерии, заложенные разработчиками: толщина, переходы, паузы и плавность мазков, композиция картин, баланс изображаемых предметов и «воздух» между предметами;
- эстетические характеристики, выявленные алгоритмами.
Модель обучили в три этапа: на первом этапе тренировали базовую свёрточную нейронную сеть, затем 一 две подсети.
Для тренировки нейросети учёные создали базу данных китайских картин чернилами, которую они назвали эталонной. Часть базы составили сканы коллекций художников, а некоторые картины попали в неё из электронной библиотеки Китайской академии искусств. В итоге в массиве данных оказались около 1200 картин на шесть тем, включая изображения растительности, фруктов, насекомых, птиц, морских животных и пейзажи. Половина картин написана известными китайскими художниками, такими как Ци Байши, У Чаншо или Пань Тяньшоу, и 600 студенческих работ.
На следующем этапе создатели нейросети предложили искусствоведам, преподавателям художественных вузов, посетителям музеев, студентам и аспирантам факультетов искусств оценить картины. В эксперименте участвовали 180 человек в возрасте от 18 до 65 лет. Картины и участников разделили на шесть групп, в результате чего каждая картина получила по 30 человеческих оценок.
Участники эксперимента давали оценки картинам по четырём признакам: эстетике, цвету, текстуре и композиции — по шкале Лайкерта от 1 до 7, где 7 — самая позитивная оценка. Чтобы посчитать среднюю человеческую оценку, исследователи присвоили индивидуальным оценкам ранги: чем выше уровень образования человека и чем больше у него художественных достижений, тем весомее был его балл. Например, оценку эксперта учли с весом 3, преподавателя 一 2, посетителя музея и студента 一 1.
Inkthetics оценивает картины следующим образом. Основная сеть получает изображение, первая подсеть извлекает глобальные атрибуты из изображения, а вторая выбирает несколько локальных наборов признаков из отдельных фрагментов. Выделенные признаки из двух подсетей объединяются.
Как нейросеть справляется с оценкой картин
Чтобы измерить точность работы Inkthetics, учёные сравнили её оценки со средними человеческими оценками с помощью коэффициента корреляции Пирсона. Оказалось, что нейросеть предсказывает эстетическую оценку картины с высокой точностью: значение коэффициента корреляции превысило 0,8.
Также создатели нейросети сравнили Inkthetics с аналогами и выяснили, что она эффективнее справляется с оцениванием картин, поскольку учитывает одновременно два типа признаков. Такая система лучше определяет тонкие эстетические элементы китайской живописи. Нейросеть продемонстрировала высокие средние показатели эффективности прогнозирования и наименьшее среднее количество ошибок.
Во время анализа учёные обнаружили 18 факторов, определяющих высокую оценку картины. В тройку лидеров вошли насыщенность цветного мазка, разнообразие оттенков серого и неравномерная представленность оттенков серого цвета на картине. Если у картины художника ярко выражены эти признаки, она будет считаться более привлекательной.
Хуже всего Inkthetics справилась с китайскими картинами в стиле абстракционизма: в нейросеть заложены общепризнанные эстетические критерии для оценки китайской живописи, а абстрактная живопись отличается от этих канонов.
Кстати, искусственный интеллект помогает не только оценить произведения китайских художников, но и сам создаёт арт-объекты, используя принципы каллиграфии. Подробнее: Компьютерная модель создаёт картины по китайским иероглифам.
