Эксперимент по автоматическому определению стиля художника вдохновил маленький мальчик. Он узнал автора рисунков из книжки про ведьмочку Винни, увидев его работы в детском издании о Всеобщей декларации прав человека:
Вдохновившись этим примером, команда исследователей из Турции и Германии решила обучить компьютерный алгоритм. Ученые собрали шесть тысяч иллюстраций из детских книг, выполненных 24 художниками. На этом материале исследователи натренировали нейросеть распознавать авторов иллюстраций.
Три соседних изображения в колонне принадлежат одному иллюстратору. Обратите внимание на то, что у каждого автора есть свой характерный стиль, но из-за вариативности набора средств, которыми они пользуются, некоторые экземпляры было трудно идентифицировать корректно.
Нечто похожее делают программы, распределяющие фотографии по стилю (винтаж, романтика, HDR) или картины по направлениям (барокко, рококо, кубизм). Однако здесь перед учеными стояла более сложная задача, поскольку некоторые иллюстраторы работают в похожей манере. Для эксперимента использовали наиболее известные модели свёрточной нейронной сети: AlexNet, VGG-19 и GoogLeNet. Наиболее эффективной оказалась последняя модель. С ней точность определения авторства достигла 94%.
Видно, как на разных наборах изображений алгоритм выделяет из группы картинок один общий важный графический признак: глаз, силуэт человека, ветки растения, контур дома, морду животного и т.п.
Иллюстрации в книгах помогают читателю лучше воспринимать материал. Но для детей, которые ещё не умеют читать, картинки — не просто дополнение к тексту, а способ понять историю. Изображения в детских книгах помогают ребятам разбираться в героях, сценах, событиях и позволяют подготовиться к вхождению в мир слов, с которым они встретятся, когда начнут читать самостоятельно.
Предугадать успех или неудачу конкретной книги для взрослых — довольно сложная задача, поскольку в этом случае вместе складываются многие факторы. Предвидеть интерес ребёнка легче: в большинстве случаев он будет зависеть именно от иллюстраций. «Изучение вкусовых предпочтений требует понимания стилистических особенностей иллюстраторов», — заявляют ученые. Кроме того, по их мысли, автоматическое распознавание художественных изображений может быть полезным для системы художественных рекомендаций.
Вдохновленные недавними исследованиями в области имитации стиля художника, учёные решили провести собственный эксперимент. Они использовали иллюстрацию одного художника для превращения исходника в изображение, выполненное в таком же стиле. Вот что получилось:
Первый столбец: изображение, стиль которого должен быть сымитирован. Второй, четвертый и шестой — картинки, на которое переносится стиль. Третий, пятый и седьмой — результаты работы нейросети, т.е. перенос стиля из столбца 1 на новое изображение.
Источник: DRAW: Deep networks for Recognizing styles of Artists Who illustrate children’s books
