О дивный «Визуальный мир»

Мы уже писали об истории айтрекинга, исследованиях движения глаз при чтении, айтрекинге в психологии искусства и сферах применения айтрекеров-очков.

Продолжаем рассказывать вам об айтрекинге. Этот текст посвящён одному из направлений нейролингвистических исследований — экспериментам в парадигме «Визуальный мир» (Visual World Paradigm).

Что такое «Визуальный мир» и как он появился

История айтрекинг-метода «Визуальный мир» начинается с исследования американского лингвиста Роджера Купера 1974 года [1]. Представим ситуацию: перед нами есть ряд предметов, и кто-то произносит слова, называющие эти предметы. Купер выяснил, что в большинстве случаев взгляд человека останавливается на названном объекте ещё до того, как слово полностью произнесено.

Расцвет этого направления исследований произошёл только через двадцать лет, когда в 1994 году на конференции CUNY (одна из главных нейролингвистических конференций при Городском университете Нью-Йорка) группа учёных под руководством Майкла Таненхауса представила первое исследование в парадигме «Визуальный мир» [2].

Профессор Майкл Таненхаус, один из создателей «Визуального мира». Источник: Университет Рочестера

В экспериментах по методике «Визуальный мир» испытуемые прослушивают устные инструкции и, следуя им, изучают взглядом, дотрагиваются или передвигают предметы на вертикальной доске или на экране компьютера. Выполнять инструкции необходимо как можно быстрее. Объектов в классическом дизайне эксперимента как минимум четыре, а инструкции могут задействовать как один, так и несколько из них. Движения глаз во время эксперимента фиксируются айтрекером.

Жители «Визуального мира»

Что находится внутри «Визуального мира»? Предметы на доске или на экране по задумке Таненхауса должны иметь разные функции. Среди них обязательно есть объект-мишень, который используется в устной инструкции, и объект-конкурент, название которого похоже на название мишени по звучанию или значению, а также несколько отвлекающих объектов-дистракторов.

Принцип подбора объектов-конкурентов меняется в зависимости от исследовательской задачи. Чаще всего это слова с созвучным началом. Так было в одном из экспериментов Таненхауса: в качестве когортных пар (мишень + конкурент) использовались пары the candle «свеча» — the candy «конфета» или the doll «кукла» — the dolphin «дельфин». Устная инструкция звучала так: «Возьми конфету и положи её над вилкой». Когда на доске присутствовал объект-конкурент, испытуемым требовалось больше времени, чтобы остановить взгляд на правильном объекте.

Вскоре после первого исследования Таненхаус попробовал добавить в эксперимент объекты-конкуренты с созвучным концом, рифмующиеся с объектом-мишенью (the beaker — мишень, the beetle — конкурент, the speaker — рифмованный конкурент, the carriage — дистрактор). Оказалось, что испытуемые всё равно чаще смотрят на конкурента с созвучным началом, но при этом рифмованному конкуренту достается значительно больше взглядов, чем отвлекающему объекту-дистрактору.

Яблоки на садовой дорожке

Также Таненхауса и его коллег интересовала синтаксическая неоднозначность. Учёные использовали предложения с эффектом «садовой дорожки» — неоднозначные предложения, которые сбивают читателя и «уводят» его в сторону. Например, участникам выдавалась инструкция Put the apple on the towel in the box («Положи яблоко на полотенце в коробку»). Прежде чем прозвучали слова «в коробку», полотенце ошибочно воспринимается как место, куда нужно положить яблоко.

Пример расположения предметов из эксперимента Таненхауса. На оси времени отражена скорость движения взгляда испытуемого при прослушивании двух предложений: неоднозначного («Положи яблоко на полотенце в коробку») и однозначного («Положи яблоко, которое на полотенце, в коробку»). Источник: Tanenhaus et al. 1995 [2]

Набор предметов перед участником варьировался: к объекту-мишени (яблоку на полотенце) и коробке добавляли в разных комбинациях пустое полотенце, яблоко на салфетке, несколько яблок и карандаш. И если среди предметов присутствовало пустое полотенце, то испытуемые в первую очередь смотрели именно на него — как на цель, куда надо положить яблоко. Но чуть позже слова «на полотенце» воспринимались как отличительная характеристика одного из яблок.

Итак, эксперимент показывает, что когнитивные механизмы понимания устной речи зависят от контекста: процесс обработки может происходить по-разному в зависимости от того, что человек видит перед собой.

Русский «Визуальный мир»

Аналогичные результаты были получены и в экспериментах «Визуального мира» для русского языка. В неоднозначных предложениях использовались существительные среднего рода: «Положите лошадку на зеркальце и в коробку».

Аналог эксперимента Таненхауса на русском языке, проведённый Ириной Секериной.Источник: ПостНаука [3], права на фотографию принадлежат И. Секериной

С помощью «Визуального мира» проводятся и эксперименты с билингвами. Например, несколько таких экспериментов провела профессор Городского университета Нью-Йорка Ирина Секерина. В частности, с русско-английскими билингвами эксперимент Таненхауса был повторён на русском языке. C билингвами его результаты были другими: даже при наличии второго объекта, снимающего неоднозначность, участники смотрели на условное «пустое полотенце» так же, как и в предложениях с неоднозначным контекстом.

В фонетических экспериментах с билингвами объекты-конкуренты были подобраны так, чтобы часть была созвучна объекту-мишени в русском языке, а часть — в английском [4]. Например, для мишени «шарик» конкурентами были шапка и акула (shark). Выяснилось, что оба языка у билингвов активируются одновременно: участники одинаково часто фиксировали взгляд и на шапке, и на акуле.

Зачем нужен айтрекинг

Нужен ли в «Визуальном мире» айтрекер? Если эксперимент строится на выполнении заданий, значит ли это, что можно просто собрать данные об ошибках, которые совершают испытуемые? На самом деле нет. Взрослые испытуемые почти не делают ошибок при выполнении задания, даже с «вводящими в заблуждение» инструкциями. Запись движений глаз позволяет отследить обработку предложения во время его звучания — то есть даёт возможность наблюдать за когнитивными процессами в режиме реального времени.

И такой метод доступнее и проще, чем многие способы анализа активности головного мозга (например, метод вызванных потенциалов). Для записи движений глаз в «Визуальном мире» достаточно айтрекера с частотой 60 Гц. Для сравнения, анализ движений глаз при чтении требует частоты не меньше 500 Гц. Ещё больше упрощает сбор данных то, что предметы для эксперимента могут быть изображениями на экране.

О дивный мир

Это далеко не полный список вариаций «Визуального мира» и исследовательских проблем, для изучения которых он применяется. Он позволяет проводить эксперименты не только на распознавание, но и на порождение речи. А игровой характер делает «Визуальный мир» хорошо подходящим для экспериментов с детьми. Подходит он и для работы с речевыми нарушениями — здесь можно прочитать об исследовании разрешения лексической неоднозначности у пациентов с афазией.

Нейролингвисты в Центре языка и мозга. Источник: сайт НИУ ВШЭ

«Визуальный мир» широко распространён и активно используется в мировой нейролингвистике. В России он применяется, например, в Центре языка и мозга НИУ ВШЭ. Если вам интересно узнать больше о когнитивных науках и их методах, читайте в «Системном Блоке» рубрику «Нейронауки».

Источники

1. Cooper R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing // Cognitive Psychology, Vol. 6, Is. 1, 1974. Pp. 84–107. DOI: 10.1016/0010-0285(74)90005-X.
2. Tanenhaus M. K. et al. Integration of Visual and Linguistic Information in Spoken Language Comprehension // Science, 268, 1995. Pp. 1632–1634. DOI: 10.1126/science.7777863.
3. Секерина И. Метод записи движений глаз в психолингвистике [Электронный ресурс] // ПостНаука. 14.12.2015. URL: https://postnauka.org/longreads/55886 (дата обращения: 11.01.2024).
4. Marian V., Spivey M. Competing activation in bilingual language processing: Within- and between-language competition // Bilingualism: Language and Cognition 6 (2), 2003. Pp. 97–115. DOI: 10.1017/S1366728903001068.
5. Фёдорова О. В. Основы экспериментальной психолингвистики: Метод регистрации движений глаз. М.: МГУ, 2020.