Нейросеть читает вывески на улицах Лондона

Сотрудники лаборатории Senseable City Lab Массачусетского технологического института решили выяснить, какие шрифты чаще всего используются на улицах Лондона. Таких шрифтов оказалось около 900, включая Helvetica, Gill Sans и всем известный Times New Roman. Для удобства шрифты объединены в классы: с засечками, без засечек, рукописные и т.д.

Как работает нейросеть

Для распознавания текста использовались наработки в сверточных нейронных сетях (convolutional neural network, CNN). Было загружено более 700 тысяч изображений из Google Street View, на которых нейросеть распознала почти 60 тысяч шрифтов. Не всегда удается верно определить название заведения: например, нейросеть прочитала вывеску как «Burberr» и не нашла соответствий. Такая проблема решается сопоставлением полученных результатов с данными API Google Places: если известно, что в пределах 50 метров от точки геопривязки изображения находится объект под названием «Burberry», то все определяется верно.

Уличные шрифты

В исследовании для Лондона компания Senseable City Lab рассматривает, насколько тот или иной шрифт коррелирует с определенным типом предприятий сферы услуг. Так, среди банков распространены шрифты Serif (с засечками) и Sans-Serif (без засечек), поскольку они облегчают восприятие текста и ассоциируются с серьезными организациями.

Для большинства типов предприятий наиболее часто используемым оказался шрифт Serif, однако для ночных клубов он совсем не характерен. Развлекательные заведения стремятся привлечь определенную аудиторию, поэтому делают выбор в пользу декоративных и рукописных шрифтов. Они зачастую не способствуют читаемости текста, однако здесь главное не содержание, а привлекательность внешней формы.

Шрифт как индикатор дохода

Авторы решили проверить взаимосвязь между коэффициентом встречаемости определенных типов шрифтов и уровнем доходов населения по районам Лондона. Коэффициент встречаемости рассчитан как отношение числа шрифтов определенного типа к общему количеству распознанных шрифтов для рассматриваемого района.

Больше всего с доходами населения коррелируют шрифты с засечками и рукописные шрифты. Получается, что в районах Лондона, в которых преобладает обеспеченное население, встречается наибольшее число вывесок, где используются шрифты Serif и Script. Таким образом, авторы предлагают использовать шрифт как альтернативную метрику для оценки экономического и социального статуса региона.

Источники

• Ruixian Ma et al. (2019) Typeface Reveals Spatial Economical Patterns
• Stanislav Isakov (2018) Как работает сверточная нейронная сеть: архитектура, примеры, особенности
• Pamela W. Henderson et al (2004) Impression Management Using Typeface Design