NLP — Natural Language Processing. Эта область находится на стыке традиционной лингвистики и компьютерных наук. В рубрике собраны материалы о методах обработки естественного языка и системах, созданных на основе этих методов. Здесь вы сможете узнать, что значит BERT и GPT3, а также понять как работают чат-боты, голосовые помощники и системы машинного перевода или как поисковик решает, что именно вы ищете.
По исследованию Insider Intelligence за 2020 год пользователи из США не доверяют Facebook в вопросах защиты личной информации. Разработчики социальной сети разрабатывают проект, нацеленный на поиск слабых мест Facebook. Он поможет выявить потенциальные проблемы с конфиденциальностью с помощью ботов до того, как они повлияют на реальных людей, использующих платформу
Многие знают о современных языковых моделях и спорят, что лучше: BERT или GPT-3. Но мало кто знает, по каким критериям оценивается их качество. Разбираемся, что делает языковую модель умной
Первым шагом в автоматической обработке текста обычно становится токенизация (деление на слова или под-слова). Рассказываем, как сложную задачу токенизации решает простой алгоритм, придуманный для архивирования данных. Алгоритм Byte Pair Encoding создан еще в 1994 году, но используется в самых современных нейросетях вроде GPT-3
Мы давно не удивляемся разговорам с голосовым помощником или банковским роботом-автоответчиком. Задать вопрос Siri или Алисе, продиктовать адрес навигатору — все это наши простые ежедневные действия. Мы привыкли, что приборы и поисковые системы не только неплохо понимают нас, но и сами понятно и грамотно говорят по-русски. Но так было не всегда
Еще в 2014 году теоретик Кристер Клерволл провел эксперимент со студентами журфака, где им предстояло определить, кто написал текст: робот или журналист? 45% студентов не смогли отличить сгенерированную публикацию от человеческой и определили авторство неправильно. С каждым годом возможности технологий расширяются и все более актуальным становится вопрос: заменит ли робот профессиональных авторов?
«Системный Блокъ» уже рассказывал о том, как алгоритмы заменяют людей на рутинной журналистской работе. Теперь изучаем системы автоматизированной генерации новостей на примере освещения предвыборных кампаний
Наряду с разработкой таких ботов-гигантов, как Алекса, Сири и Алиса, за которыми стоят крупнейшие IT-корпорации, появляются и доступные инструменты для создания своих небольших, но полноценных целеориентированных чат-ботов. Отличным примером этого служат инструменты из библиотеки DeepPavlov от группы разработчиков на базе МФТИ
Google продолжает разрабатывать инструменты, позволяющие искусственному интеллекту понимать естественный язык не по ключевым словам, а используя семантику. Одним из таких инструментов стал Talk To Books – сервис, позволяющий получить ответ на любой вопрос, и ответом станет не набор ссылок на статьи или сайты, а вполне релевантные фразы, взятые из более 100 тысяч книг, составляющих базу сервиса
Брайлевский шрифт придумали для передачи военных секретов, а в итоге он пригодился незрячим. Как устроен Брайль, зачем на нем пишут «зеркально» и почему нужно научиться распознавать не только печатный, но и рукописный брайлевский текст? Отвечает Ася Ройтберг, инициатор разработки алгоритма распознавания Брайля
Нейросети хорошо порождают правдоподобный текст. Но как заставить их писать на нужную тему, да еще и с нужным отношением к этой теме (положительным, нейтральным или отрицательным)? Рассказываем про решение, которое позволяет «донастраивать» языковую модель под себя
NLP-библиотека FastText от Facebook Research стала следующим после Word2Vec большим шагом в развитии векторных семантических моделей и машинного обучения в обработке текста. Рассказываем, чем хороши модели FastTest — и как и где с ними поработать
На наших глазах происходит один из первых кибер-витков истории человечества. Виртуальные помощники выходят из зоны покорных слуг и обретают больше самостоятельности и субъектности
Кому и почему «важно, чтобы корпус жил»? Системный Блокъ узнал, как применяют Национальный корпус русского языка: от школьных исследований до изучения перевода культурных реалий
«Живой» перевод от Google в смартфонах стал лучше переводить тексты с фотографий
Нейронные сети научились сочинять рождественские колядки, подписывать поздравительные открытки, находить по-зимнему заснеженные территории и делать предсказания на будущий год. В разгар праздничных каникул публикуем подборку самых ярких новогодних AI-экспериментов
Тематическое моделирование — легкий способ понять смысловой состав большой коллекции текстов, которую невозможно быстро прочесть глазами. Пользоваться инструментами тематического моделирования может каждый — а научиться можно в нашем тьюториале. Здесь вы найдете пошаговое руководство с решением основных технических трудностей
Хотите разобраться в автоматической обработке языка и стать NLP-инженером? Вам сюда
Как работает новый инструмент распознавания речи и автоматического определения говорящего
Видеохостинг YouTube имеет локализации в 100 с лишним странах — это значит, что для них есть специальная локальная версия сайта (а то и не одна). Например, когда вы заходите в YouTube из России, вы видите меню на русском языке. Такие же меню есть не только на языках-гигантах вроде английского, испанского или китайского, но и, к примеру, на суахили, эстонском, зулусском, урду, африкаансе, узбекском... А как оценивать качество перевода всех этих кнопочек в меню и их понятность для пользователей?
Научпоп стремительно обзаводится почитателями по всему миру. Какие ученые хотят рассказать о своей работе больше всего, что ресурсы и паблики для этого делают и какими характеристиками обладает типичный научно-популярный текст?
Компьютерные лингвисты из Вышки, университета Тренто и университета Осло разработали vec2graph — инструмент для визуализации семантической близости слов в виде сети. Воспользоваться vec2graph может любой желающий. Рассказываем, как это работает и зачем нужно
Великое, могучее, свободное, подвижное. От праславянской акцентуации к нейросетевым программам автоматической расстановки ударений
На литературе в школе нас учили, что метафора — это что-то такое из стихов Пушкина. Помните, как учительница затирала про «образное сравнение»? Но на самом деле метафорами пронизан весь наш язык (даже эта фраза), и их исследование может многое сказать о том, как мы говорим и мыслим. А зачем нужна цифровая карта метафор?
Нейросети научились неплохо подражать человеку в написании текста. Но теперь есть симметричный ответ: системы обнаружения текста, порожденного нейросетями. Запасаемся попкорном и следим за битвой брони и снаряда в искусственном интеллекте
Авторский стиль тяжело определить формально — это целый комплекс деталей, которые заметны человеческому глазу, но могут ускользнуть от компьютера. Указать на характерный выбор слов, конструкций, моделей легко, но как рассказать алгоритму про метафоры или научить его распознавать другие тонкие материи?
Все любят котиков… особенно переводчики. Рассказываем о CAT-системах: чем и как сегодня переводят
Как подобрать духи, если не смыслишь в парфюмерии, и чем пахнет Digital Humanities
Почему «Слово о полку Игореве» не смогли бы создать инопланетяне или нейросеть, и при чем тут берестяные грамоты?
Исследователи из MIT и Google Brain объединились для создания алгоритма, который имеет шанс повторить подвиг Майкла Вентриса — он в 1950-е годы расшифровал одну из древних форм критского письма. Пока что нейросеть научилась читать угаритский, копируя типичные действия ученых-дешифровщиков
«Мой мозг застрял в черепе», «He was introduced to the wells», «филиал исследований» и другие приключения онлайн-перевода
Как компьютерная лингвистика подсела на нейронные сети и диплернинг, какие подходы сегодня в тренде и почему они так хороши
Распознавание лжи в текстах методами компьютерной лингвистики и машинного обучения – сравнительно новое направление в науке. Разбираемся, как это работает и чего ждать от этих разработок в будущем
Машинный перевод и другая компьютерно-лингвистическая магия работают тогда, когда есть много данных для обучения нейросетей. Но что делать, если язык редкий и данных почти нет? Рассказываем про хитрый способ выкрутиться с помощью лингвистики
Mr.Translator, переводчик на основе искусственного интеллекта, провально отработал на международном форуме. И это уже не первый случай, когда реальное качество системы оказалось совсем не таким, какое обещали оптимисты-разработчики. Будущее машинного перевода под угрозой?
Что сейчас происходит в нейронном машинном переводе и каково состояние дел в отрасли? Публикуем рассказ ведущего разработчика систем машинного обучения
Компьютерная лингвистика утверждает, что слоны розового цвета. Разбираемся, как так вышло
Вавилонская рыбка все ближе к вашему уху! Синхронный машинный переводчик STACL начинает выдавать перевод предложения до того, как прозвучит окончание фразы на языке оригинала. Но получится ли сравниться по качеству с человеком?
Шутки — дело серьезное. Исследовательница из Стенфорда Хё Хё точно это знает, потому что она разрабатывает генератор каламбуров для искусственного интеллекта и даже устраивает соревнования живых комиков и машин. Пока наши выигрывают, но Хё не собирается прекращать работать над шуточным генератором
Какие метафоры популярны при описании габаритов предмета, как они изменялись со временем и почему из сравнений исчезли голубиные яйца
Как Google Translate умножает стереотипы
Так ли хороши нейросети под капотом Google.Translate? Разбор с пристрастием
Если качество машинного перевода проверяет человек, то это долго и дорого. А если нужно быстро и дёшево?
🆕 семантический анализ эмодзи или как мы выучили новый язык сами того не подозревая
Не можете разобрать врачебный почерк? NLP спешит на помощь!
Фанаты Assassin’s Creed за одну ночь помогли собрать материал для переводчика египетских иероглифов
Аесова и другие: откуда и благодаря кому мы знаем, как ругались русские люди в XII веке?
Тексты Шекспира, Мелвилла и современных хип-хоп-музыкантов сквозь призму методов лексического анализа и ранжирование рэперов по количеству уникальных слов
Визуализация, тематическое моделирование и другие методы автоматической обработки текста
Могут ли роботы сострадать? Искусственный интеллект для тяжелых эмоций и сложных ситуаций
Сейчас каждый может закадрить яндексовскую Алису — и отхватить виртуальную пощечину. Но так было не всегда
Разбираемся во внутренностях Project Debator — искусственного интеллекта от IBM, которому удалось переспорить чемпионов дебатов. Спойлер: Без помощи Аристотеля не обошлось
Как компьютеры сравнивают значения слов, и почему это бывает смешно
Скоро у тебя в смартфоне появится автоматический диагност, который первым заметит, что ты чот приуныл
Мы стали на шаг ближе к тому, чтобы заменить утомительные тесты по английскому наблюдением за тем, что делают зрачки во время чтения иностранного текста
Откуда поисковики знают, что «пожрать», «поесть» и «кафе» — это близкие вещи? Как можно научить алгоритм различать слова по смысловой близости?
