Фото автора

Владимир Селеверстов

Ведущий рубрики «Глоссарий»

Студент ЮФУ, интересуюсь переводом, NLP, Deep Learning

Автор статей
Как это работает, Лингвистика 09.06.2021

Как устроена нейросеть BERT от Google

BERT — нейросетевая модель-трансформер от Google, на которой сегодня строится большинство инструментов автоматической обработки языка. Модель появилась в начале 2018-го, а уже в октябре того же года Google встроил модель в свой поисковик. Разбираемся, что же представляет из себя модель BERT и как она работает
,
Как это работает, Лингвистика 11.12.2020

Как работает GPT-2 и в чем его особенности

Все слышали о GPT-3, которая умеет сочинять стихи и прозу, разгадывать анаграммы, переводить, отвечать на вопросы по прочитанному тексту и даже писать философские рассуждения о жизни и смерти. Рассказываем, как работает ее бабушка, GPT-2, без которой такой прорыв в области обработки естественного языка был бы невозможен
,
Как это работает 27.11.2020

Нейросети-трансформеры изнутри: как работает декодер

Мы уже рассказывали, как работают нейросети-трансформеры — самая популярная и успешная нейросетевая архитектура наших дней. Мы подробно разобрались, как нейросеть-трансформер кодирует текст и как она уделяет «внимание» наиболее важным словам и связям. Теперь пришла пора поговорить о том, как нейросеть выдает итоговый результат, будь то машинный перевод, разметка или продолжение начатого текста. То есть, о декодировании
Глоссарий 18.11.2020

Как вычислить TF-IDF?

Интуитивно задачу TF-IDF решает каждый, кто делал запрос в Гугле: нужно догадаться, какие слова ярче всего характеризуют запрос и «спросить» именно их. Хороший поисковик, если он хочет выдать релевантные результаты, тоже вычислит, какие слова несут больше всего смысла в текстах и соответствуют запросам. Как получить численные ответы на вопросы о том, какие слова важнее других и что это значит, читайте в глоссарии «Системного Блока»
Как это работает 12.11.2020

Как работают трансформеры — крутейшие нейросети наших дней

Трансформер — самая модная сегодня нейросетевая архитектура. Она появилась в 2017 и перевернула всю обработку языка машинами. Мы расскажем о структуре трансформера без кода — чтобы потом при взгляде на код вы могли понять, что он делает
Как это работает 24.06.2020

Внимание — все, что вам нужно: как работает attention в нейросетях

«Системный Блокъ» добрался до самых горячих технологий в мире современного глубокого обучения. Сегодня рассказываем о механизме внимания, на котором работают в 2020 году все действительно крутые нейросети. Почему внимание стало killer-фичей диплернинга, что под капотом у attention mechanism, как нейросеть понимает, какие признаки текста или картинки важнее других
Как это работает 17.06.2020

Мама мыла LSTM: как устроены рекуррентные нейросети с долгой краткосрочной памятью

Крафтовый техно-лонгрид издания Системный Блокъ, в котором мы разбираем по винтикам одну из самых ходовых технологий в современной компьютерной лингвистике — рекуррентные нейросети с архитектурой LSTM
История 07.02.2020

Шпионаж и слежка 400 лет назад (и почему это важно знать сегодня)

По метаданным спецслужбы могут узнать о вас многое. Теперь это подтверждают еще и историки — при помощи сетевого анализа старинных писем
Гайды 27.12.2019

Как делать тематическое моделирование без боли и командной строки

«Системный Блокъ» уже рассказывал, как делать тематическое моделирование при помощи Mallet — классического инструмента выделения тем с опорой на алгоритм LDA. Однако есть и более современные инструменты, не требующие возни с командной строкой. На этот раз мы расскажем об одном из таких инструментов — сервисе TopicModellingTool, а также о визуализации тем при помощи Tableau Public
,
Как это работает 20.11.2019

Разбираем нейросети по частям: как работает градиентный спуск

Градиентный спуск — это способ поиска точек минимума или максимума в сложных функциях. Рассказываем, почему это так важно для обучения нейросетей
Как это работает 23.08.2019

Word2Vec: покажи мне свой контекст, и я скажу, кто ты

Разбираемся, как компьютеры понимают смысл наших текстов
Как это работает 06.08.2019

Как провести корпусное исследование? Помогите!

Рассказываем, что такое mystem и antconc, для чего они нужны, и как ими пользоваться
Как это работает 05.07.2019

Как понять, о чем текст, не читая его?

Что такое тематическое моделирование и как оно работает
Как это работает, Компьютерное зрение 21.06.2019

Может ли машина видеть так же, как человек?

Как Тесла с автопилотом распознает объекты на дороге на видео в реальном времени и как это удается смартфону, когда он обводит лица людей в кадре в цветные рамки еще до снимка
Как это работает, Компьютерное зрение 04.06.2019

Как посмотреть на мир глазами нейросетей

Обученная нейросеть может точно предсказать цену дома по фотографии. Но как она это делает? Мы залезли «под капот» искусственному интеллекту — и разобрались в деталях
Как это работает, Компьютерное зрение 03.06.2019

Как работают фильтры в Инстаграме

Разбираемся в том, как устроено компьютерное зрение, что такое ядро свертки — и при чем тут фильтры в Инстаграме
Как это работает 27.05.2019

Как работает статистический перевод по фразам?

Разбираемся, как научиться переводить, не зная ни одного языка
Искусство 06.05.2019

Искусственный интеллект рисует карикатуры

Искусственный интеллект бросает вызов художникам-карикатуристам!
Филология 18.02.2019

Пушкин, терминатор и звездолет

Тестируем семантический поисковик по стихам великого русского поэта — и ловим кайф
Как это работает 29.11.2018

Как работает нейросеть

Объясняем нейронные сети — без сложных формул
Нейронауки 05.11.2018

Хакнуть мозг: 10 нейротехнологий для апгрейда головы

О перспективных нейротехнологиях и новых возможностях, которые они открывают