BERT

NLP, Как это работает

С приветом из Англии: у мультиязычных языковых моделей обнаружился «английский акцент» 

Если вы выучили иностранный язык во взрослом возрасте, вполне вероятно, вы говорите на нем не так же бегло, как носитель языка. Оказывается, подобная проблема встречается и у мультиязычных моделей: если в обучающей выборке для них преобладает английский, текст на других языках они будут генерировать «с английским акцентом». Объясняем, почему так происходит и что можно с этим сделать.
NLP, Как это работает, Лингвистика

Как устроена нейросеть BERT от Google

BERT — нейросетевая модель-трансформер от Google, на которой сегодня строится большинство инструментов автоматической обработки языка. Модель появилась в начале 2018-го, а уже в октябре того же года Google встроил модель в свой поисковик. Разбираемся, что же представляет из себя модель BERT и как она работает

,
Подкасты

Виден ли конец «нейронного блицкрига»: компьютерные лингвисты между вычислениями и теорией. Расшифровка подкаста с Денисом Кирьяновым

Публикуем материалы к восьмому выпуску подкаста «Неопознанный Искусственный Интеллект»: текст расшифровки выпуска, оглавление, полезные ссылки и термины.
Модели

BERT

Одна из первых больших языковых моделей, использующих архитектуру Transformer