Сонификация — это представление информации в аудиоформате. Данные в этом случае используются в качестве формулы или правила для создания звука. И возможности представления данных звуком даже шире, чем в двухмерных или трехмерных визуализациях.
Рассказывание историй с помощью сонификации пока находится в зачатке, отмечает DataJournalism.com. Но явление уже охватывает не только первых энтузиастов — ученых, инженеров, художников — и все активнее входит в медиапространство.
Что такое звук и что в нем можно определять через данные?
С точки зрения физики звук — это колебание частиц окружающей среды. Две основные характеристики звука — частота и амплитуда. Остальные характеристики, которые мы можем услышать — высота звука, тембр, громкость, время затухания — являются результатом комбинаций и наложения этих двух параметров. Оперируя этими характеристиками, уже можно собрать звуковую партию из данных.
Услышать загрязнение, протесты и коронавирус: примеры сонификации данных
Удобнее всего сонифицировать временный ряды, так как звук имеет протяженность. Тогда каждому моменту времени можно представить определенный звук или их сочетание. Так в издании kloop представили загрязненность воздуха в Бишкеке. Авторы сонифицировали данные с датчика загрязненности воздуха за 11 месяцев. В зависимости от колебаний показателей загрязненности между неделями меняются музыкальный инструмент, октава и тональность. Получается так, что с чистым воздухом мелодия становится выше и мажорной, а наступление смога опускает регистр и делает звучание более тревожным.
В “Музыке протеста” сонифицированы данные о масштабах протестов в России 2011-2020 годов: число участников и длительность. Каждый показатель вынесен в отдельную звуковую дорожку. Число участников озвучивает фортепиано, длительность — ксилофон. Чем больше протестующих и продолжительнее акция, чем выше звук.
Также два параметра представлены в видео KQED Science. Здесь сонифицированы данные о климатических изменениях на Земле: концентрация углекислого газа и температура. Здесь параметры представлены разными способами, от чего можно предположить между ними некоторое отношение. “Линия” CO2 представлена сигналом, у которого меняется высота звучания в зависимости от количества газа в атмосфере. Температура обозначена струнным инструментом и, помимо высоты тона, влияет на громкость звука.
Объем параметров, которые можно менять в звуке, можно представить сонификацией обложки New York Times, посвященной числу жертв коронавируса. Ритм задается низкими звуками, отмеряющими недели. Высокие звуки, похожие на сигналы, отмечают каждый прирост на 25000 жертв. Число же погибших в каждый момент времени передается с помощью белого шума, который изменяется в зависимости от плотности точек на изначальной визуализации.
Ритмом можно отмерять не только временные промежутки, но и сами данные. Так, например, сделано в сонификации “Утеса”, где данные по коронавирусу разложены на барабанную партию. Так каждая единица в общем количестве будто приобретает вес, а время взаимодействия зрителя с работой увеличивается. Значит, работа со звуком может позволить сильнее вовлекать читателей в представляемую информацию.
Более вольно сонифицированы данные о коронавирусе в Швейцарии. Здесь автор использует данные о заболеваемости как опору для создания мелодии — она идет вверх или вниз в соответствии с графиком, скорость пассажей нарастает с числом заболевших. При этом звук производится не электронным образом, а с помощью музыкальной шкатулки и специальной, четырехметровой (!), ленты с отверстиями. Отверстия как раз указывают на то, какие звуки должны воспроизводиться. Помимо них на ленту нанесен график заболевших, а также комментарии автора о том, что происходило в указанные периоды времени.
Пассажи, которые прямо соответствуют данным, также возможны. В Financial Times представлена сонификация кривых доходности с 1977 года. Данные перекодированы так, чтобы укладываться в 24 тона с одинаковыми интервалами. Каждый месяц представлен арпеджио, составленном по кривой доходности.
Сонификации в искусстве
Если говорить о представлении данных через аудио, хочется сопоставить звук и визуальные инструменты. Например, у Скрябина была система, где тональностям соответствовали определенные цвета: красный для до-мажора или розовый для фа-мажора. В партитурах для цветов могла быть выделена специальная строка, как, например, в “Прометее”.
Некоторые художники, наоборот, видели музыку в своих произведениях. Например, у Кандинского есть система, по которой его абстрактные работы можно услышать. В этом случае закодировать звуком можно не только цвет, но и форму объектов.
Кажется, и в случае перехода от звука к визуальности, и наоборот — процесс проходит через единого посредника — здравый смысл, который опирается на опыт взаимодействия с реальным физическим миром. Тонкие линии представляются чем-то легким, как и высокие звуки. Зеленый цвет ассоциируется с весной, связан с жизнью, как и мелодии в ля-мажоре.
Данные могут не только задавать, каким образом звук создается. На их основе можно выводить правила, по которым могут комбинироваться готовые звуковые отрывки. Это тоже можно считать генеративной музыкой. В пример можно привести HPSCHD Джона Кейджа и Леджарена Хиллера — произведение для клавесина и компьютера, где случайным образом смешиваются произведения классической музыки. При каждом исполнении получается новое произведение.
У звука также есть источник. И источник может определять характер как звука, так и опыта, который получает слушатель. Например, можно вспомнить “Симфонию гудков” Арсения Авраамова — симфонию, в которой музыкальными инструментами выступают выстрелы, гудки, свист и шум машин.
Похожее обращение к объектам, источникам звука, можно найти, например, в сонификации дорожного движения Гонконга. Здесь звуки, напоминающие автомобильные гудки, воcпроизводятся каждый раз, когда на проезжей части встречается машина.
Какие параметры звука используют сонификаторы данных
Как и в визуализации данных, в сонификации можно использовать правила, которые помогут структурировать информацию, тем самым облегчив ее восприятие (если, конечно, у автора нет цели представить звуковую кашу). Для этого можно использовать основные понятия музыкальной теории: тон, длительность и паузы, гамму, консонанс и диссонанс. Также это могут быть средства выразительности (здесь это то, как мы воспроизводим звук): темп, использование стаккато или легато, крещендо и диминуэндо.
Помимо возможностей работы с окраской отдельного звука, сонификация позволяет раскладывать информацию на партии или слои, складывая их потом в единое произведение. Если бы мы говорили о песне Beatles, то эти слои можно было бы представить в виде музыкальных инструментов: партия ударных, бас-гитара, ритм-гитара и голос. Каждый из этих инструментов играет свою роль в произведении.
Другой вариант представления — это работа со звуком как со слоями, которые вместе представляют собой звуковой ландшафт. Этот термин, введенный в 60-е годы Раймондом Шафером, употребляется в контексте урбанистики. По звуковому ландшафту можно выделить фоновый шум и выделяющиеся звуки.
При этом стоит помнить, что определение, какой звук будет считаться фоновым, а какой основным, в большой степени зависит от слушателя и является характеристикой субъективной. Однако создатель композиции может выделить важную информацию не только описанными выше способами (например, высотой или громкостью), но и композиционно. Например, за счет повторов. Основная информация может быть представлена в виде пассажа, который станет основной темой композиции.
На основе этого пассажа может строиться вариация. Также музыкальная тема может быть имитирована, инверсирована в разных слоях произведения или использоваться в каноне. За счет того, что звуковое представление может быть многоголосым и “раздвинутым” во времени, открываются различные возможности в наслаивании информации.
Что дает сонификация?
Звук дает новые возможности и новое поле для представления информации. Звук неоднороден и может накладываться, наслаиваться за счет времени затухания или длительности. Воздействие на эмоциональном уровне работает, когда нужно привлечь внимание к проблеме. Однако вопрос о том, можно ли говорить об объективности предоставляемой информации, остается открытым.
