NLP

NLP — Natural Language Processing. Эта область находится на стыке традиционной лингвистики и компьютерных наук. В рубрике собраны материалы о методах обработки естественного языка и системах, созданных на основе этих методов. Здесь вы сможете узнать, что значит BERT и GPT3, а также понять как работают чат-боты, голосовые помощники и системы машинного перевода или как поисковик решает, что именно вы ищете.

Автономный ИИ-инженер и новое о Sora: дайджест новостей в мире искусственного интеллекта

Создатели Sora рассказали, откуда брали видео для обучения, но кое о чем умолчали. Компания Cohere — один из главных конкурентов OpenAI/ChatGPT — выпустила модель с 35 млрд параметров. Вышла сопоставимая с трансформерами RNN-модель EagleX — неужели рекуррентные нейросети рано хоронить? Рассказываем, что произошло в мире ИИ за прошедшую неделю

Как автоматически расшифровать аудио: пошаговая инструкция для Whisper

Расшифровка аудиозаписи — дело утомительное и времязатратное. К счастью, появляется всё больше сервисов, которые умеют это делать автоматически. Рассказываем, как сделать это с помощью модели Whisper от OpenAI и смотрим, насколько хорошо она справляется с русскоязычными записями

От древнерусского до корпуса блогов: как изменился Национальный корпус русского языка после редизайна 

Национальный корпус русского языка (НКРЯ) — важнейший инструмент любого исследователя, который занимается русским языком, русской литературой и вообще русской словесной культурой. Изменения в работе НКРЯ были заметны ещё в 2019 году: тогда лингвисты высказали опасения о возможном закрытии сервиса. К счастью, проблемы оказались временными, и НКРЯ не только не прекратил свою работу, но и заметно изменился и расширился. Самым заметным обновлением стал новый дизайн сайта, но есть и много глубоких содержательных перемен. Об основных обновлениях в корпусе, очевидных и не очень — в нашем сегодняшнем материале.

С приветом из Англии: у мультиязычных языковых моделей обнаружился «английский акцент» 

Если вы выучили иностранный язык во взрослом возрасте, вполне вероятно, вы говорите на нем не так же бегло, как носитель языка. Оказывается, подобная проблема встречается и у мультиязычных моделей: если в обучающей выборке для них преобладает английский, текст на других языках они будут генерировать «с английским акцентом». Объясняем, почему так происходит и что можно с этим сделать.

Большие языковые модели умеют рассуждать

Модель психики «Думай медленно… решай быстро» оказалась верна не только для людей, но и для больших нейросетей. Вслед за интуитивными навыками они приобретают и аналитические. Рассказываем, как языковые модели решают математические и логические задачи, если немного «подумают».

«Размечено»: как распознавать именованные сущности в исторических дневниках

Дневники людей, живших в различных исторических эпохах, могут многое сказать исследователю, но анализировать их вручную — тяжело и долго. Разбираемся, как цифровые инструменты используются для упрощения анализа дневниковых записей.

Как сделать тематическое моделирование

Рассказываем, как сделать тематическое моделирование для большого объема текста, предположить его содержание и разделить по темам

Как работают диалоговые системы и чем они отличаются

Алиса Яндекса, Олег Тинькофф-банка и телеграм-бот для демотиваторов — одно и то же? Или нет? Разбираемся, как работают диалоговые системы и почему одни могут рассказать анекдот и поддержать диалог о жизни, а другие — сводить в кино и заказать пиццу.

«Впереди сущий сахарный голод»: что говорит о дневниках 1917 года анализ данных

Революция 1917 года — одно из крупнейших потрясений в российской истории. О чем думал Николай II в день отречения? Что волновало простых граждан? Какие темы поднимали в газетах? Мы проанализировали дневники очевидцев, которые собрал проект «1917. Свободная история», и выяснили, о чем в революцию писали чаще всего

Русская классика глазами нейросети ruDALLE

Как видит русскую классику нейросеть ruDALLE? Пройдите тест и попробуйте угадать, что скрывается под изображениями

«Кладмен мудак»: анализ тональности отзывов о запрещенных веществах

Язык интернета имеет свои характерные черты. И если исследованию языка Рунета посвящено множество работ, то DarkNet все еще остается серым пятном в этом плане. С помощью анализа тональности текстов выясняем, какая лексика характерна для отзывов о запрещенных веществах.

Как работает GPT-3 — самая продвинутая языковая модель

GPT-3 — самая известная из современных нейросетевых моделей языка. Вокруг нее много мифов, но модель действительно умеет впечатлить. Она отлично справляется с написанием целых эссе на заданную тему, удачно отвечает на вопросы, а также пишет стихи и программный код. Рассказываем, как работает GPT-3.

BERT модель

UniLM — языковая модель для тех, кому мало BERT

Сегодня каждая большая IT-корпорация пытается сделать «еще более умную» нейросетевую языковую модель, которая решала бы сразу множество задач: и ответы на вопросы, и порождение правдоподобного текста по заданной теме, и краткий пересказ. Мы уже писали о BERT от Google и семействе GPT от OpenAI — настал черед UniLM от Microsoft

Как устроена нейросеть BERT от Google

BERT — нейросетевая модель-трансформер от Google, на которой сегодня строится большинство инструментов автоматической обработки языка. Модель появилась в начале 2018-го, а уже в октябре того же года Google встроил модель в свой поисковик. Разбираемся, что же представляет из себя модель BERT и как она работает

авторский текст

По словам их узнаете их: как вычисляли автора «Беовульфа»

Рассказываем, как одни ученые устанавливали авторство знаменитого древнеанглийского эпоса «Беовульф» при помощи статистики, а другие с ними спорили. Ведь научные споры цифровых филологов — это интересно!

чат-бот Meena

Давай поговорим: как работает «человечный» чат-бот Google

В Google попытались сделать чат-бота, который заточен на максимально осмысленные и человекоподобные ответы. Рассказываем, как он устроен

какие задачи решаются с помощью NLP

Компьютерная лингвистика в медицине: от справок до COVID

О чем вы думаете, когда слышите «NLP»? О голосовых помощниках, о переводчиках, о поисковой машине… Но область применения для технологии обработки естественного языка гораздо шире! Разбираемся, как NLP помогает бороться с COVID-19 и упрощает взаимодействие людей в медицине

Facebook соцсеть

Цифровая песочница для ботов-наркоторговцев

По исследованию Insider Intelligence за 2020 год пользователи из США не доверяют Facebook в вопросах защиты личной информации. Разработчики социальной сети разрабатывают проект, нацеленный на поиск слабых мест Facebook. Он поможет выявить потенциальные проблемы с конфиденциальностью с помощью ботов до того, как они повлияют на реальных людей, использующих платформу

NLP

ЕГЭ для нейросетей: как тестируют усвоение языка машинами

Многие знают о современных языковых моделях и спорят, что лучше: BERT или GPT-3. Но мало кто знает, по каким критериям оценивается их качество. Разбираемся, что делает языковую модель умной

обработка текста

Мы с Тамарой ходим парой: как работает алгоритм токенизации текстов для нейросетей

Первым шагом в автоматической обработке текста обычно становится токенизация (деление на слова или под-слова). Рассказываем, как сложную задачу токенизации решает простой алгоритм, придуманный для архивирования данных. Алгоритм Byte Pair Encoding создан еще в 1994 году, но используется в самых современных нейросетях вроде GPT-3

Морфология: Памяти А. А. Зализняка. Часть IV

Мы давно не удивляемся разговорам с голосовым помощником или банковским роботом-автоответчиком. Задать вопрос Siri или Алисе, продиктовать адрес навигатору — все это наши простые ежедневные действия. Мы привыкли, что приборы и поисковые системы не только неплохо понимают нас, но и сами понятно и грамотно говорят по-русски. Но так было не всегда

Робот журналисту друг: почему не стоит бояться алгоритмов

Еще в 2014 году теоретик Кристер Клерволл провел эксперимент со студентами журфака, где им предстояло определить, кто написал текст: робот или журналист? 45% студентов не смогли отличить сгенерированную публикацию от человеческой и определили авторство неправильно. С каждым годом возможности технологий расширяются и все более актуальным становится вопрос: заменит ли робот профессиональных авторов?

Роботы на выборах: как алгоритмы помогают журналистам

«Системный Блокъ» уже рассказывал о том, как алгоритмы заменяют людей на рутинной журналистской работе. Теперь изучаем системы автоматизированной генерации новостей на примере освещения предвыборных кампаний

Трудно быть ботом: как сделать чатбота с помощью DeepPavlov

Наряду с разработкой таких ботов-гигантов, как Алекса, Сири и Алиса, за которыми стоят крупнейшие IT-корпорации, появляются и доступные инструменты для создания своих небольших, но полноценных целеориентированных чат-ботов. Отличным примером этого служат инструменты из библиотеки DeepPavlov от группы разработчиков на базе МФТИ

Как «поговорить» со 100 000 книг: Talk To Books

Google продолжает разрабатывать инструменты, позволяющие искусственному интеллекту понимать естественный язык не по ключевым словам, а используя семантику. Одним из таких инструментов стал Talk To Books – сервис, позволяющий получить ответ на любой вопрос, и ответом станет не набор ссылок на статьи или сайты, а вполне релевантные фразы, взятые из более 100 тысяч книг, составляющих базу сервиса

Как устроен шрифт Брайля и зачем его распознавать

Брайлевский шрифт придумали для передачи военных секретов, а в итоге он пригодился незрячим. Как устроен Брайль, зачем на нем пишут «зеркально» и почему нужно научиться распознавать не только печатный, но и рукописный брайлевский текст? Отвечает Ася Ройтберг, инициатор разработки алгоритма распознавания Брайля

Как управлять мамонтом: генерируем нужные тексты с помощью моделей Plug and Play

Нейросети хорошо порождают правдоподобный текст. Но как заставить их писать на нужную тему, да еще и с нужным отношением к этой теме (положительным, нейтральным или отрицательным)? Рассказываем про решение, которое позволяет «донастраивать» языковую модель под себя

Как работает FastText и где ее применять

NLP-библиотека FastText от Facebook Research стала следующим после Word2Vec большим шагом в развитии векторных семантических моделей и машинного обучения в обработке текста. Рассказываем, чем хороши модели FastTest — и как и где с ними поработать

Fembot’s tale: как виртуальным помощникам добиться равенства с людьми

На наших глазах происходит один из первых кибер-витков истории человечества. Виртуальные помощники выходят из зоны покорных слуг и обретают больше самостоятельности и субъектности

Корпус для всех: как используют НКРЯ

Кому и почему «важно, чтобы корпус жил»? Системный Блокъ узнал, как применяют Национальный корпус русского языка: от школьных исследований до изучения перевода культурных реалий

Новый мобильный Google Translate: одинокая колбаса больше не увидит сельдерей

«Живой» перевод от Google в смартфонах стал лучше переводить тексты с фотографий

Искусственный интеллект создает новогоднее настроение: 5 праздничных проектов

Нейронные сети научились сочинять рождественские колядки, подписывать поздравительные открытки, находить по-зимнему заснеженные территории и делать предсказания на будущий год. В разгар праздничных каникул публикуем подборку самых ярких новогодних AI-экспериментов

Помедленнее, я записываю!

Как работает распознавание речи и зачем оно вообще нужно

Ищем смыслы: как сделать тематическое моделирование корпуса текстов

Тематическое моделирование — легкий способ понять смысловой состав большой коллекции текстов, которую невозможно быстро прочесть глазами. Пользоваться инструментами тематического моделирования может каждый — а научиться можно в нашем тьюториале. Здесь вы найдете пошаговое руководство с решением основных технических трудностей

Как начать свой путь в NLP (не путать с НЛП)

Хотите разобраться в автоматической обработке языка и стать NLP-инженером? Вам сюда

Кто это сказал? Разбирается Google AI

Как работает новый инструмент распознавания речи и автоматического определения говорящего

YouTube на русском, зулусском и урду: как тестируют перевод интерфейсов

Видеохостинг YouTube имеет локализации в 100 с лишним странах — это значит, что для них есть специальная локальная версия сайта (а то и не одна). Например, когда вы заходите в YouTube из России, вы видите меню на русском языке. Такие же меню есть не только на языках-гигантах вроде английского, испанского или китайского, но и, к примеру, на суахили, эстонском, зулусском, урду, африкаансе, узбекском... А как оценивать качество перевода всех этих кнопочек в меню и их понятность для пользователей?

Разбираем по частям научно-популярные ресурсы

Научпоп стремительно обзаводится почитателями по всему миру. Какие ученые хотят рассказать о своей работе больше всего, что ресурсы и паблики для этого делают и какими характеристиками обладает типичный научно-популярный текст?

Семантические сети: как представить значения слов в виде графа

Компьютерные лингвисты из Вышки, университета Тренто и университета Осло разработали vec2graph — инструмент для визуализации семантической близости слов в виде сети. Воспользоваться vec2graph может любой желающий. Рассказываем, как это работает и зачем нужно

Акцентуаторы. Памяти А.А. Зализняка. Часть III

Великое, могучее, свободное, подвижное. От праславянской акцентуации к нейросетевым программам автоматической расстановки ударений

Зачем нужна карта метафор?

На литературе в школе нас учили, что метафора — это что-то такое из стихов Пушкина. Помните, как учительница затирала про «образное сравнение»? Но на самом деле метафорами пронизан весь наш язык (даже эта фраза), и их исследование может многое сказать о том, как мы говорим и мыслим. А зачем нужна цифровая карта метафор?

Нейросеть-предатель: алгоритм обучили выявлять тексты-подделки

Нейросети научились неплохо подражать человеку в написании текста. Но теперь есть симметричный ответ: системы обнаружения текста, порожденного нейросетями. Запасаемся попкорном и следим за битвой брони и снаряда в искусственном интеллекте

Перенос стиля нейросетями: Дрейк, Летов, Оксимирон

Авторский стиль тяжело определить формально — это целый комплекс деталей, которые заметны человеческому глазу, но могут ускользнуть от компьютера. Указать на характерный выбор слов, конструкций, моделей легко, но как рассказать алгоритму про метафоры или научить его распознавать другие тонкие материи?

CAT-системы и будущее перевода

Все любят котиков… особенно переводчики. Рассказываем о CAT-системах: чем и как сегодня переводят

Чат-бот подбирает парфюм

Как подобрать духи, если не смыслишь в парфюмерии, и чем пахнет Digital Humanities

«Слово о полку Игореве» как улика. Памяти А.А. Зализняка. Часть II

Почему «Слово о полку Игореве» не смогли бы создать инопланетяне или нейросеть, и при чем тут берестяные грамоты?

Нейросеть расшифровала древние надписи

Исследователи из MIT и Google Brain объединились для создания алгоритма, который имеет шанс повторить подвиг Майкла Вентриса — он в 1950-е годы расшифровал одну из древних форм критского письма. Пока что нейросеть научилась читать угаритский, копируя типичные действия ученых-дешифровщиков

Translate-баттл: могут ли онлайн-переводчики передавать стиль текста?

«Мой мозг застрял в черепе», «He was introduced to the wells», «филиал исследований» и другие приключения онлайн-перевода

8 главных прорывов в нейросетевом NLP

Как компьютерная лингвистика подсела на нейронные сети и диплернинг, какие подходы сегодня в тренде и почему они так хороши

Сможет ли компьютер распознавать ложь: ИИ против fake-news

Распознавание лжи в текстах методами компьютерной лингвистики и машинного обучения – сравнительно новое направление в науке. Разбираемся, как это работает и чего ждать от этих разработок в будущем

Что такое кросс-языковая морфология и зачем она нужна

Машинный перевод и другая компьютерно-лингвистическая магия работают тогда, когда есть много данных для обучения нейросетей. Но что делать, если язык редкий и данных почти нет? Рассказываем про хитрый способ выкрутиться с помощью лингвистики

Это фиаско, мистер Переводчик!

Mr.Translator, переводчик на основе искусственного интеллекта, провально отработал на международном форуме. И это уже не первый случай, когда реальное качество системы оказалось совсем не таким, какое обещали оптимисты-разработчики. Будущее машинного перевода под угрозой?

Нейронные сети в машинном переводе: статус-кво

Что сейчас происходит в нейронном машинном переводе и каково состояние дел в отрасли? Публикуем рассказ ведущего разработчика систем машинного обучения

Розовые слоны и красные деревья: цвета в языке и в реальной жизни

Компьютерная лингвистика утверждает, что слоны розового цвета. Разбираемся, как так вышло

Машинный перевод становится синхронным

Вавилонская рыбка все ближе к вашему уху! Синхронный машинный переводчик STACL начинает выдавать перевод предложения до того, как прозвучит окончание фразы на языке оригинала. Но получится ли сравниться по качеству с человеком?

У вас вся спина белая: как искусственный интеллект учится шутить

Шутки — дело серьезное. Исследовательница из Стенфорда Хё Хё точно это знает, потому что она разрабатывает генератор каламбуров для искусственного интеллекта и даже устраивает соревнования живых комиков и машин. Пока наши выигрывают, но Хё не собирается прекращать работать над шуточным генератором

Фасолина или яйцо? С чем сравнивают размеры вещей

Какие метафоры популярны при описании габаритов предмета, как они изменялись со временем и почему из сравнений исчезли голубиные яйца

Что не так с машинным переводом?

Так ли хороши нейросети под капотом Google.Translate? Разбор с пристрастием

Как машинный перевод оценивает… машина?

Если качество машинного перевода проверяет человек, то это долго и дорого. А если нужно быстро и дёшево?