Когда я рассказываю о том, что очень нужно сделать автоматическое распознавание шрифта Брайля, первый вопрос: а зачем незрячим нужно это распознавание? Незрячие же отлично читают по точкам, а обычный плоский текст на экране — это как раз проблема. Ну а зрячие практически никогда не сталкиваются с текстом на Брайле.

На самом деле все сложнее. Во-первых, довольно много зрячих людей постоянно сталкиваются с Брайлем. Во-вторых, незрячим распознавание Брайля тоже может быть полезно.

Что такое шрифт Брайля

Рельефно-точечный шрифт изначально придумали вовсе не для слепых, а для армии. Предполагалось, что с помощью него солдаты смогут бесшумно общаться в полной темноте. В армии язык не пошел: зрячим людям оказалось не под силу читать пальцами рельефные точки. Но не пропадать же изобретению — рельефному шрифту решили научить слепых детей, один из этих детей доработал систему, и в итоге получился рельефно-точечный шрифт, используемый для письма и чтения незрячими и слабовидящими людьми. Этого ребенка, как вы уже могли догадаться, звали Луи Брайль. В честь него и назван Шрифт Брайля, который теперь используется во всем мире.

Как устроен шрифт Брайля

Шрифт Брайля — рельефно-точечный, т.е. состоит из выпуклых точек и промежутков, причем точки четко организованы. Вот так выглядит приветствие «hello world»:

Один символ шрифта Брайля — решетка 3×2, в каждой из шести ячеек которой может быть (или не быть) рельефная точка. Получается 64 комбинации точек и пустот. Все позиции пусты — пробел, на всех позиция точки — зачеркивание. Зачеркнуть в Брайле — «забить» все 6 точек. Остается 62 различные «буквы», это не очень много. Приходится использовать одни и те же символы для передачи кириллицы, латиницы, других видов письменности и даже музыкальных нот. Если внутри текста происходит смена письменности, ставится специальный символ смены языка.

Вот здесь можно посмотреть, как выглядит, например, ваше имя на брайлевской кириллице. Так выглядит текст «Системный Блокъ»:

⠎⠊⠎⠞⠑⠍⠝⠮⠯ ⠃⠇⠕⠅⠷

Есть и конверторы латиницы в Брайль. Например, brailletranslator.org умеет работать с разными видами латиницы. И еще умеет делать зеркальную картинку точек, зачем она нужна, расскажем чуть позже. А пока вот мое имя в зеркальном и обычном вариантах:

Как и в других письменностях, Брайль бывает печатным и «рукописным». На вид символы не отличаются — отличается способ письма. С печатным вариантом все более-менее понятно — это пластиковые округлые выпуклые точки, наверняка вы видели такие в лифтах или в подписях в музеях. В рукописном Брайле точки выдавливаются на бумаге с обратной стороны листа.

Что такое «рукописный» Брайль?

  • «Дырочки на бумаге». В школах для слабовидящих детей учат писать «рукописным» Брайлем. Технически это протыкание дырочек специальным шилом (или просто ручкой) в листе бумаги, вставленном в специальный трафарет. В этом видео подробно показывается, как пишут. Самое удивительное, что на трафарете пишут зеркально: точки продавливают шилом с обратной стороны листа справа-налево. Вот для обучению письму на трафарете, как раз могут пригодится зеркальные картинки конвертеров.
  • Пишущие машинки. У брайлевской машинки всего 6 больших кнопок — каждая кнопка отвечает за одну из шести точек в брайлевской букве. Есть специальные компактные машинки, в которые вставляются листы бумаги и машинка выдавливает точки на бумаге. Например, здесь можно посмотреть, какие они бывают.

Двусторонняя печать

Брайлевские тексты иногда печатают с двух сторон, тогда на странице присутствуют одновременно и выпуклые точки текста, и впадины на местах точек текста с другой стороны листа. Как показывает личный опыт, это кошмар для компьютерного зрения и оптического распознавания символов.

Зачем нужно автоматическое распознавание Брайля

— Кстати, а что значит распознавать Брайль?
— Взять фотографию или скан текста на Брайле и превратить в машиночитаемые брайлевские символы (а дальше можно сразу конвертировать его в обычный текст на кириллице, латинице и т.д).
А теперь главный вопрос: зачем нужно распознавать шрифт Брайля и переводить его в плоскопечатный текст (да именно так называют «обычные» буквы)? Ответ: больше всего распознавание Брайля и его автоматический перевод нужны людям, много взаимодействующим с незрячими, прежде всего родственникам и учителям.

Учителя в школах для слабовидящих, конечно, владеют Брайлем, но читать пальцами его обычно не умеют, читают глазами. Можете себе представить как тяжело проверять тетради диктантов из белых точек на белом фоне.

Родители и родственники незрячих людей часто вообще не могут выучить шрифт Брайля настолько, чтобы читать достаточно бегло, а не расшифровывая каждую букву. Получается, что родители не могут помочь своему ребенку с уроками или почитать вместе одну книгу, т.е. не могут делать самых обычных и привычных вещей.

Еще одна проблема — переиздание брайлевских книг, для которых нет цифрового источника. Переиздание — не обязательно именно издание бумажной книги, принципиальна здесь именно оцифровка. Если есть цифровая версия, то дальше можно и печатать, и читать на брайлевском дисплее. Основная проблема с книгами, сделанными специально для незрячих в доцифровую эру. Например для учебников музыки, разработанных под брайлевскую нотную запись. Такие книги, изданные лет 40 назад, уже заметно обветшали, а замены им нет. Так что распознавание Брайля нужно и самим незрячим людям.

Но главная цель — помочь незрячим людям расширить круг общения. Например, не так давно незрячие дети начали участвовать в школьных олимпиадах. Сейчас работы ребят сначала вручную «переводятся» с Брайля в плоскопечатный шрифт, а только потом проверяются. В таком варианте невозможно сделать участие в олимпиадах достаточно массовым, доступным во всех регионах.

Если убрать «языковой барьер», преподавать незрячим людям смогут люди, не умеющие бегло читать на Брайле.

В конце концов, можно будет спокойно отправить открытку на Брайле в посткроссинге, и ее смогут прочесть все.

Почему Брайль до сих пор не распознают?

Как и на все сложные вопросы, тут нет однозначного ответа. Во-первых, это проект без коммерческого потенциала. Во-вторых, сейчас существует огромное количество технических средств, помогающих незрячим при чтение и письме. С ними люди отлично могут набирать текст на компьютере, пользоваться любыми мессенджерами. Так что для многих задач эта технология уже не актуальна. Рукописный Брайль есть только на этапе начального обучения письму.

Но так ситуация устроена далеко не везде. К сожалению, все эти технические средства довольно дорогие, выпускает их небольшое число компаний. Есть много стран (Россия в том числе), где брайлевская строка и брайлевский дисплей доступны совсем немногим.
Вероятно, через 10-20 лет «электронные помощники» распространятся по всему миру. Но людям нужно жить, учиться и общаться сейчас, а не через несколько десятилетий. Да и проблему оцифровки старых книг на Брайле электронные помощники не решают.

Чтобы картина выглядела не такой безрадостной

Нельзя сказать, что на поле распознавания Брайля ничего не сделано. Есть довольно много статей о том, как компьютер учили распознавать шрифт Брайля, т.е. переводить Брайль с фотографий или сканов в цифровую форму. Но эти работы в большинстве своем остались на уровне теоретических разработок и не дошли до реализации.

Из готовых решений, доступных каждому, я нашла только аппаратно-программный комплекс — это такая дорогая большая железная машина с 3D сканером внутри, которая может распознавать только печатный Брайль. Безусловно полезная вещь, например, для брайлевских библиотек или для переиздания книг. Но слишком дорогая-большая-неудобная для более-менее любых других задач. Также есть проекты, которые заявляют о достижении высокого качества распознавания Брайля. Но пока это не общедоступные продукты, а, скорее, proof of concept.

Надеюсь, эта ситуация скоро изменится, и я смогу скачать на телефон распознавалку Брайля.

Что еще IT сообщество делает с Брайлевской нотацией:

  • Помощник обучению счету на Брайле, сделанный на ардуино.
  • Башкирова И.Л., Гордейко В.В. Условные обозначения по системе Брайля при обучении математике и языку.
  • Если вы хотите добавить написание на брайль на свой сайт, то вот тут есть библиотека. Смысла для незрячих в этом нет, на брайлевском дисплее эти знаки не прочитаются. Скорее для привлечения внимания к проблеме.