Интроспекция и неформальные опросы в лингвистических экспериментах
Экспериментальная лингвистика как область науки зародилась во второй половине прошлого столетия. До того, как эксперименты получили широкое распространение, лингвисты-теоретики основывали свои суждения на интроспекции (то есть пытались представить, как они сказали бы сами). В лучшем случае желаемый тезис подкреплялся неформальным опросом нескольких носителей, зачастую коллег-лингвистов.
Интроспекция и неформальные опросы в современной науке не считаются надёжным источником данных. С распространением лингвистических экспериментов оказалось, что экспериментальные данные не всегда подтверждают утверждения из известных теоретических работ, основанные на интроспекции.
Что такое лингвистический эксперимент
Лингвистический эксперимент — это исследование, направленное на изучение языка и его использования. Он может включать в себя различные методы и техники, чтобы выяснить, как люди взаимодействуют с языком или языковыми элементами (звуками, словами, фразами) и каковы оптимальные варианты их употребления.
Экспериментальные методы пришли в лингвистику из психологии и социологии, и широко применяются в областях, смежных с этими науками: психолингвистике (в том числе в исследованиях детской речи и языковых расстройств) и социолингвистике (например, в исследовании про связь восприятия диалекта и отношения к его носителям). От них применение лингвистических экспериментов распространилось на синтаксис, прагматику и фонологию.
Как выглядит лингвистический эксперимент
Данные, которые лингвист получает в результате эксперимента, могут быть разными в зависимости от задач исследования. Так, с помощью экспериментов на оценку приемлемости собирают оценки предложений (словосочетаний, слов) — насколько грамотно они звучат по мнению участников:
Пример вопроса в эксперименте с оценкой приемлемости предложений. Перевод: «Он имеет себе новую машину. 1 — абсолютно неприемлемо, даже в разговорном контексте. 5 — абсолютно приемлемо». Источник: Here’s you a thesis (Yale University)
Лингвистов могут интересовать и другие типы данных, в том числе время реакции или результат выполнения задания — заполнение пропуска или передвижение предметов на экране. Вот пример задания из другого распространённого типа экспериментов:
Пример задания на принятие лексического решения. Перевод: «Является ли слово на экране реальным или выдуманным? Нажмите Z, если слово существует, и M, если нет». Источник: Visual lexical decision task (Experiment guide)
Несмотря на разнообразие лингвистических экспериментов, всех их объединяют общие принципы построения экспериментального дизайна. Именно они придают экспериментальным данным надёжность и делают возможным применение к ним статистических методов.
Независимые и зависимые переменные
В любом эксперименте есть независимые и зависимые переменные. Зависимые переменные — это характеристики наблюдаемого результата: оценки приемлемости, время реакции, результаты выполнения заданий. Независимые переменные (или факторы) — то, чем исследователь может манипулировать: например, тип синтаксической структуры предложения или фонологические характеристики псевдослова. Независимых переменных может быть несколько (но обычно не больше двух), а их характеристики определяют минимальное число заданий в эксперименте и их распределение между участниками.
Пример лингвистического эксперимента на синтаксическую многозначность
Чтобы продемонстрировать, как устроен лингвистический эксперимент, возьмём вариацию известного эксперимента на синтаксическую многозначность. В нём используются предложения вида Преступник застрелил служанку актрисы, которая стояла на балконе, которые могут быть поняты двумя способами: «служанка стояла на балконе» или «актриса стояла на балконе».
В синтаксисе это явление называется ранним или поздним закрытием (раннее — если придаточное предложение относится к первому существительному, позднее — если ко второму). Известно, что некоторые языки (например, итальянский, японский и польский) предпочитают раннее закрытие, а другие (норвежский, арабский, румынский и т. д.) — позднее. Закономерностей для этого распределения пока не выявлено.
Кроме того, на предпочтение могут влиять самые разные факторы. Проверим два из них: длину придаточного предложения и число имён существительных. Мы будем демонстрировать участникам предложения по очереди, а затем задавать вопрос: Кто стоял на балконе? Независимыми переменными в нашем эксперименте будут длина придаточного (короткое vs длинное) и число существительных (единственное vs множественное). Из четырёх комбинаций их значений получаются четыре условия:
| Условие | Длина придаточного | Число существительных | Предложение |
| 1A | Короткое | Ед. ч. | Преступник застрелил служанку актрисы, которая стояла на балконе. |
| 1B | Короткое | Мн. ч. | Преступник застрелил служанок актрис, которые стояли на балконе. |
| 1C | Длинное | Ед. ч. | Преступник застрелил служанку актрисы, которая стояла на балконе, несмотря на надвигающуюся грозу. |
| 1D | Длинное | Мн. ч. | Преступник застрелил служанок актрис, которые стояли на балконе, несмотря на надвигающуюся грозу. |
Это первый экспериментальный блок. Дальнейшие блоки будут составлены из других предложений: например, в нашем эксперименте также может быть предложение 2B Профессор узнал отца студента, который жил в соседнем доме или 3D Девушка заметила тренеров гимнастов, которые ей нравились ещё с прошлого чемпионата.
Каждый испытуемый увидит только одно предложение из каждого блока — так у него не будет возможности, сравнив предложения из одного и того же блока, догадаться, какие именно параметры варьирования интересуют исследователей. При этом каждое из предложений должно быть использовано в эксперименте и предъявлено равному числу испытуемых.
Далее мы расскажем о нескольких инструментах программирования онлайн-экспериментов, которые используют лингвисты, а также об их особенностях и отличиях.
Пять инструментов для программирования дизайна лингвистических экспериментов
Во время пандемии особое распространение получили онлайн-эксперименты. У таких экспериментов есть ряд минусов: вне лаборатории невозможно создать одинаковые условия для всех испытуемых (освещение, тишина, отсутствие отвлекающих факторов). Зато набор участников в онлайн-эксперимент обычно происходит быстрее и эффективнее. Мы подобрали пять инструментов для создания лингвистических экспериментов в сети (без смс и регистраций).
Ibexfarm
Ibexfarm (Internet-Based Experiments) — одна из первых платформ для программирования лингвистических экспериментов, созданная в 2010 году синтаксистом Алексом Драммондом. Оригинальный сайт платформы прекратил работу в 2021 году, однако создатель выложил код в открытый доступ, после чего на базе других сайтов стали доступны её аналоги. Например, существует полная копия бывшей Ibexfarm на базе Университета Гумбольдта в Берлине.
Эксперимент полностью пишется в виде кода на JavaScript, при этом некоторые типы заданий уже заложены в готовые команды. Например, код для первого задания нашего эксперимента выглядел бы так. Элементы short и single соответствуют значениям независимых переменных. Команда DashedSentence выводит предложение на экран по одному слову (так называемое чтение с саморегуляцией скорости, которое может быть и самостоятельным экспериментальным заданием):
[[«short«, «single«], «DashedSentence«, {s: «Преступник застрелил служанку актрисы, которая стояла на балконе.«},
«Question«, {q: «Кто стоял на балконе?», as: [«Служанка«, «Актриса«]}]
С помощью различных команд можно задать распределение предложений по листам, их порядок, чередование тестовых и отвлекающих предложений и многое другое. Большим плюсом Ibexfarm является отображение во время прохождения любого эксперимента шкалы прогресса, позволяющей испытуемому видеть, какая часть эксперимента уже пройдена.
Из описанных здесь платформ Ibexfarm — единственная предназначена именно для лингвистических, и даже конкретнее, для синтаксических экспериментов. Остальные имеют более широкую специализацию и создавались также для экспериментальной психологии и других когнитивных наук.
PCIbex
Альтернативная версия IbexFarm с упрощённым интерфейсом и расширенным функционалом существует под названием PCIbex.
Интерфейс PCIbex Dashboard
Она поддерживает работу с изображениями и видео и предлагает возможность создания заданий на перемещение объектов по экрану, отслеживания движения мышки и сбора айтрекерных данных. Все платформы на основе IbexFarm полностью бесплатны, а использовать дополнительную платформу для размещения экспериментов онлайн не требуется: вы можете тут же сформировать ссылку, ведущую на прохождение эксперимента.
PsychoPy
Другой инструмент для создания экспериментов — программа PsychoPy (Py означает, что программа использует язык Python). PsychoPy имеет более интуитивный интерфейс, в котором вы видите свой эксперимент как последовательность блоков на оси времени:
Пример пользовательского интерфейса PsychoPy при создании эксперимента. Источник: PsychoPy Documentation
Так, в нижней части изображения выше вы видите последовательность частей всего эксперимента, а в верхней части — содержание одного из блоков этой последовательности. Часть характеристик эксперимента можно задать с помощью интерфейса, часть — через написание кода. Для работы в PsychoPy необходимо установить его на компьютер: у этой программы нет онлайн-интерфейса.
PsychoPy часто используется в лабораторных экспериментах: как видно на изображении, он совместим с айтрекерами и электроэнцефалографами. Несколько лет назад создатели PsychoPy выпустили собственную платформу для размещения экспериментов онлайн — Pavlovia, что упростило использование PsychoPy для онлайн-экспериментов. Pavlovia совместима и с экспериментами, созданными на других платформах, например, с платформой Lab.js.
Lab.js
Lab.js также имеет интуитивный пользовательский интерфейс, где написание кода для многих задач не требуется: вы просто вводите нужные данные в уже заготовленные поля. В зависимости от сложности слайда его можно создать через встроенные шаблоны или с помощью HTML-разметки.
Разница между Lab.js и IbexFarm в том, что они автоматизируют разные вещи: так, Ibexfarm «знает» концепцию экспериментов с суждениями о приемлемости, и достаточно дать ему команду AcceptabilityJudgment, а в шапке кода прописать желаемое количество делений шкалы.
В Lab.js же всю шкалу приходится программировать вручную. Зато в Lab.js удобнее устроен ввод стимулов: их можно хранить в виде таблицы, приписав к ним значения соответствующих параметров. Например, так могут выглядеть первые четыре предложения одного из вариантов нашего эксперимента:
Пример предложений в Lab.js
Тогда задание достаточно прописать один раз, обратившись к содержанию предложения через ${this.parameters.Sentence}, а к вариантам ответа — через ${this.parameters.Early} и ${this.parameters.Late}.
Для рандомизации, ограничения по времени выполнения задания, указания правильного ответа на вопрос (если он есть) код писать не нужно — это можно сделать прямо в интерфейсе. Готовый эксперимент можно сохранить в формате .json и запускать локально: тогда результаты в виде таблицы будут сохраняться на ваш компьютер. Если вы хотите запустить эксперимент онлайн, нужно встроить его либо на платформы типа Pavlovia, либо с помощью инструмента JATOS на собственный облачный сервер — способов запуска онлайн довольно много.
Gorilla
Gorilla одновременно напоминает оба предыдущих инструмента. Это онлайн-платформа, которая соединяет собственный интуитивный интерфейс и элементы написания кода на Python. Как и в PsychoPy, части эксперимента отображаются в виде блоков на оси времени, правда, не слева направо, а сверху вниз. Это можно увидеть в коротком видеовступлении к использованию платформы:
Gorilla Introduction Video (Category naming task). Источник: Gorilla Support
В видео вы могли заметить, что стимулы эксперимента также организованы в виде таблицы, как и в примере для Lab.js выше. В Gorilla не приходится создавать таблицу в интерфейсе самой платформы: её можно сделать в Excel и просто загрузить на платформу файл. Это делает работу со стимулами ещё удобнее, особенно если речь идёт об изображениях и аудио.
В отличие от Lab.js, в Gorilla можно сделать ссылку на прохождение эксперимента без обращения к дополнительным инструментам. Сам эксперимент можно создать и протестировать бесплатно, но за доступ к данным участников придётся заплатить.
Где брать испытуемых для экспериментов?
Самые известные в мире платформы такого рода — это Amazon Mechanical Turk, Prolific и Sona Systems. В рунете их аналогом является Яндекс.Толока. Да, на Толоке можно найти и лингвистические эксперименты! У многих платформ для создания экспериментов, например, у PCIbex и Lab.js, существуют и собственные инструкции по размещению созданных экспериментов на разных онлайн-платформах, и советы по набору испытуемых.
На таких платформах пользователи участвуют не только в экспериментах, но и в опросах, и в выполнении простых заданий. Участники через платформу получают небольшой гонорар.
Другие полезные инструменты
Мы опустили подробное описание программ, по функционалу похожих на уже перечисленные: OpenSesame, Labvanced, Linger, WebExp и некоторых других.
Для организации стимулов существует отдельный инструмент Mix and Match от Кэмбриджского университета. Платформа Worldlikeness (игра слов: метод эксперимента с оценкой приемлемости несуществующих слов часто называют word-likeness task) заявляет себя как инструмент типологической психолингвистики, создания базы данных для разных языков мира. На платформе исследователи могут создавать собственные эксперименты с псевдословами, а участники-волонтёры — проходить их, формируя базу знаний о том, что допустимо, а что нет в разных языках мира.
Функционал программ, представленных в основной части этого текста, частично повторяет друг друга. Поэтому, во-первых, исследователю не обязательно владеть ими всеми, а во-вторых, работе с новой программой достаточно просто обучиться. Тем не менее, полезно знать их различия, чтобы понимать, какая программа лучше всего подойдёт для создания желаемого лингвистического эксперимента.
Источники
- Кибрик А. Е. Введение в науку о языке. М.: Буки Веди, 2019. 672 с.
- Федорова О. В., Янович И. С. Об одном типе синтаксической многозначности, или Кто стоял на балконе. М.: Наука, 2004.
- Giles H. Evaluative reactions to accents. Educ. Rev. 22:211-27, 1990.
- Lab.js documentation [Электронный ресурс] // URL: https://labjs.readthedocs.io/en/latest/ (дата обращения: 28.02.2024).
- LingLab documentation [Электронный ресурс] // URL: https://linglab.gitbook.io/linglab-documentation/ (дата обращения: 28.02.2024).
- PCIbex documentation [Электронный ресурс] // URL: https://doc.pcibex.net/ (дата обращения: 28.02.2024).
- Research Software & Tools [Электронный ресурс] // URL: https://experimentalfieldlinguistics.wordpress.com/links/software/ (дата обращения: 28.02.2024).
- YouTube@GorillaPsys [Электронный ресурс] // URL: https://www.youtube.com/@GorillaPsyc (дата обращения: 28.02.2024).
