«Системный Блокъ» уже писал о том, как оценивать машинный перевод автоматически. Однако не всегда техногиганты ищут легкие пути: осознав, что качественная локализация позволяет увеличить прибыль, Google попросил живых пользователей помочь с оценкой переведенного интерфейса YouTube.

В мире есть около 200 «крупных» языков с числом носителей от 3 миллионов человек (а языков поменьше — тысячи). Поэтому разработчикам программного обеспечения приходится переводить свои пользовательские интерфейсы на многие языки. Несмотря на то, что графические пользовательские интерфейсы в сравнении с текстовыми претерпели существенные изменения, они по-прежнему в значительной степени зависят от текстовой информации. Качество восприятия языка переведённых пользовательских интерфейсов (ПИ) может оказать существенное влияние на общее качество и удобство пользования продуктом. Но как разработчики программного обеспечения и менеджеры по продукту смогут узнать больше о качестве перевода, если сами не говорят на этом языке?

Существует три подхода к оценке качества текста:

  1. автоматизированные методы оценки — их относительно легко и недорого разрабатывать, но на практике они не всегда приносят пользу;
  2. заключения специалистов — служат ценным источником практических идей, однако не ориентированы на поиск проблем на уровне пользователя, да и себестоимость их гораздо выше;
  3. методы, ориентированные на пользователя, — стоимость их невысока, и они отражают точку зрения пользователя, но при этом не предлагают практических идей по улучшению качества текста.

Таким образом, наибольшей эффективностью обладает мнение специалистов в сочетании с методами, ориентированными на пользователя. Посмотрим, как это работает.

Основные данные в элементах взаимодействия и в содержимом интерфейса передаются через текст. Можно проиллюстрировать это, убрав из ПИ текстовые элементы, как показано в схеме ниже.

Три версии пользовательского интерфейса YouTube: (а) оригинальный интерфейс, (б) интерфейс без текстовых элементов, (в) интерфейс без графических элементов. Как можно заметить, версия без текста полностью лишена самой необходимой информации: практически невозможно выбрать видео для просмотра, невозможна навигация по сайту. Источник

В недавно опубликованной статье «Измерение качества языка, оцениваемого пользователем: разработка и проверка качества языка пользовательского интерфейса (LQS)» описан процесс разработки и проверки результатов опроса, который позволяет пользователям предоставлять обратную связь о качестве языка пользовательского интерфейса.

Пользовательские интерфейсы, как правило, разрабатываются на одном исходном языке, а затем переводятся построчно внутри кода. В процессе перевода зачастую возникают ошибки, которые могут привести к ряду проблем, отсутствующих в исходном интерфейсе. Такие проблемы чаще всего связаны со сложностями, возникающими в процессе перевода. Слово auto, например, на французский язык может переводиться как «автоматический»/»автоматизированный» или «автомобильный»/»автомобиль«, и в отсутствие контекста переводчик может выбрать неподходящий термин.

Кроме того, проблему могут представлять слова, которые получают значение глаголов при расположении на элементах кнопок или же значение существительных, когда находятся на ярлыках. Например, слово access («доступ») может означать «у вас есть доступ» (в виде ярлыка) или же «запросить доступ» (при расположении на элементе кнопки)

К подводным камням относятся род слов, предлоги без контекста, контекстные синонимы. Эти проблемы иногда могут усугубляться и тем, что переводы осуществляются разными людьми в разное время. Такие проблемы перевода могут не только негативно отразиться на имидже бренда, но и на принятии продукта пользователями и его пользе.

В 2012 году команда интернационализации YouTube получила данные о том, что вложения в разработку версий YouTube на разных языках могут принести существенную выгоду. Хотя в предыдущих проектах работа экспертов привела к значительному повышению качества текста, такие исследования оказались слишком дорогостоящими и трудоемкими. Потому было решено разработать опрос, который позволит получать отзывы пользователей о качестве языка пользовательского интерфейса и масштабировать сбор количественных данных о качестве языка.

О чем спрашивали пользователей?

Опросник по качеству языка состоит из 10 вопросов. Первые пять вопросов относятся к критерию «Удобочитаемость», который отражает то, насколько текст естественен и легко воспринимаем; вопросы с 6 по 9 суммируют частоту соответствий/несоответствий в тексте, что называется «Лингвистической правильностью». После первого испытания опросника выяснилось, что пользователи находят на сайте текст, по их мнению, не имеющий смысла — и ни один вопрос не позволял указать на это в ответе. В результате опросник был переработан. В окончательном варианте он выглядит так:

  1. Насколько дружественен текст интерфейса [название сайта]?
  2. Насколько профессионально составлен текст интерфейса [название сайта]?
  3. Насколько естественным кажется текст интерфейса [название сайта]?
  4. Труден ли для понимания текст интерфейса [название сайта]?
  5. Насколько уместным Вы считаете текст интерфейса [название сайта]?
  6. Как часто Вы сталкивались с грамматическими ошибками в тексте интерфейса [название сайта]?
  7. Как часто Вы сталкивались с опечатками/орфографическими ошибками в тексте интерфейса [название сайта]?
  8. Как часто Вы сталкивались с бессмысленным текстом в интерфейсе [название сайта]?
  9. Как часто Вы встречали непереведенные слова (не на английском языке) в тексте интерфейса [название сайта]?
  10. Устраивает ли Вас качество текста интерфейса [название сайта] при использовании английского языка?

Любопытно, что из почти 7000 опрошенных участников ответы более чем половины респондентов (примерно 4500) в итоге не учитывались: несмотря на инструкции к опроснику, они оценивали текст контента сайта, а не интерфейса. Кроме того, из выборки исключили всех, кто не являлся носителем языка, кто редко пользовался сервисом, кто не использовал версию на английском языке и кому было лень ответить на все вопросы (в общей сложности это еще примерно 1000 участников).

Поскольку опросник был разработан, чтобы выявить проблемы в переводе интерфейса YouTube и улучшить его качество, он был доступен на более чем 60 языках; были собраны данные для всех версий интерфейса YouTube. Сначала исследователи оценили все переведенные версии по критериям «лингвистической правильности и «удобочитаемости», затем провели оценку каждой версии отдельно, чтобы понять, по каким именно аспектам «лингвистической правильности» или «удобочитаемости» были выявлены худшие (или лучшие) результаты.

Исследователи собирали для анализа не только ответы, но и пользовательские комментарии (каждый раз, когда кто-то выбирал самую низкую оценку, перед ним появлялось окно с просьбой предоставить примеры или ссылки на проблемные места). Анализ этих комментариев предоставил лингвистам ценные данные. Например, пользователи указывали на неадекватную терминологию, непереведенные слова, пропущенные во время перевода, опечатки или грамматические ошибки, слова, характерные только для английского языка и переводу не подлежащие, скриншоты со страниц помощи, где текст был на английском языке, хотя требовал локализации. Некоторые пользователи ссылались на удобочитаемость текста, отмечая устаревшие слова, слишком официальный (или наоборот, слишком неформальный и игривый) тон перевода, сложные технические или юридические формулировки, неестественное звучание перевода или чересчур длинные разделы теста. В некоторых языковых вариантах интерфейса пользователи также отмечали недостатки используемого шрифта.

Результат: по своему качеству почти треть переводов уступала оригинальной версии. А ведь YouTube переводят профессиональные лингвисты, а не машина

Пользовательская оценка качества перевода: что дальше?

Для того чтобы охватить как можно больше пользователей по всему миру, перевод и локализация должны быть выполнены на высоком уровне. Для пользователей могут иметь значение даже, казалось бы, мелочи вроде наличия версии на австралийском английском: «И даже в Австралии, где все говорят по-английски, пользователи отдают предпочтение местным сайтам перед зарубежными. Несмотря на то, что австралийские пользователи могут с легкостью прочесть как американские, так и англоязычные европейские сайты, они чувствовали, что зарубежные сайты не соответствуют их потребностям». (Нильсен, 2011). Хотя значение имеют и дизайн (цветовые решения, символы и значки), и технические аспекты (форматы даты и времени), информация все равно передается через текст, и пренебречь комфортом пользователей в этом вопросе — значит лишить себя доли рынка.

По мнению Дель Гальдо и Нильсена (1996), существует три уровня, на которых следует решать проблему создания международных пользовательских интерфейсов. Первый уровень — технический; это символы, обозначения и форматы данных, привычные для пользователей в контексте родного языка. Второй уровень — создание пользовательского интерфейса и пользовательской информации, которые понятны и могут использоваться на родном языке пользователя. Воспринимаемое качество языка переведенных пользовательских интерфейсов может оказать существенное влияние на восприятие общего качества и удобства использования продукта. Поэтому важно оценивать и улучшать качество языка, используемого в приложениях. Основа третьего уровня — способность создавать системы, учитывающие культурные особенности пользователей. Это означает, что проекты должны учитывать конкретные культурные модели, такие как способ общения людей или способ ведения бизнеса в разных странах.

Чтобы упростить процесс локализации для остальных, Google сделал свой опросник общедоступным. И каждый теперь может начать совершенствовать свои продукты на благо пользователей во всем мире.

Материал подготовлен совместно с группой переводческих компаний AKM Translations (www.akmw.ru)

Источники

How to measure translation quality in your user interfaces
Measuring user rated language quality: Development and validation of the user interface Language Quality Survey (LQS)