Первый гость первого сезона — Татьяна Шаврина, Team Lead Сбербанка. Татьяна занимается разработками в области AGI и обработки естественного языка. Сегодня мы поговорим, как искусственный интеллект решает экзамены, заберет ли он наши рабочие места, и почему не стоит забывать о философах и лингвистах при разработке интеллектуальных систем
Оглавление выпуска
01:04 — Как разработка ИИ объединила лингвистику, программирование и когнитивные науки?
04:25 — Что должен уметь «сильный ИИ»?
08:10 — Как построить «сильный ИИ»?
12:50 — Должен ли ИИ быть устроен как человеческий мозг
17:20 — Поиграй со мной: обсуждаем тест на интеллектуальность
21:00 — Чем растущий ребенок отличается от обучающейся нейросети
21:59 — Нейросети решают ЕГЭ
27:35 — Super GLUE: тесты-головоломки для искусственного интеллекта
33:41 — Футурология: в каком гараже изобретут ИИ
35:30 — Колониализм в ИИ: цифровой Дикий Запад
37:23 — Блиц: кого заменят роботы и какие статьи об ИИ стоит почитать
В выпуске были упомянуты
книги, ссылки, термины, персоналии
- Natural Language Processing (NLP) [01:03]
- Машинное обучение, Deep Learning [04:50]
- artificial general intelligence (AGI) [05:04]
- сell lineage [07:48]
- Франсуа Шолле и Keras [06:03]
- BERT [08:11]
- Language acquisition device (LED) [10:28]
- МРТ и ФМРТ [11:33]
- соревнование Ark[16:28]
- мáксима Грайса [19:25]
- AI Journey [22:10]
- IBM Watson [25:13]
- Aristo [26:51]
- Super Glue [29:28]
- Natural Language Understanding (NLU) [29:30]
- Да-Нет QA [30:50]
- «The cost of connection”, книга от Cambridge Press о коммуникации при колониальной экономике
- “Key Notes» конференции NIPS-2019 [37:53]
- Джошуа Бенджо и Даниел Канеман [38:11]
- Federated Learning от Google [38:38]
- “Язык как инстинкт”, книга Стивена Пинкера [39:07]
Ссылки и полезная информация
- Ссылки на тг-канал подкаста
- Ссылки на платформы с подкастами
Текстовая версия выпуска
[0:01] Даниил Скоринкин: Привет, друзья! С вами очередной выпуск подкаста «Неопознанный Искусственный Интеллект», сокращенно НИИ, от издания Системный Блокъ. Подкаст, в котором мы обсуждаем искусственный интеллект, какой он сейчас, каким он станет завтра и когда наконец машине станут умнее людей. Сегодня в студии я, Даниил Скоринкин, главный редактор системного блока. И…
Анатолий Старостин: Я, Анатолий Старостин, руководитель службы развития технологий медиасервисов Яндекса.
Даниил Скоринкин: А в гостях у нас сегодня Таня Шаврина, руководитель команды, которая занимается обработкой языка и искусственным интеллектом в Сбербанке. Привет, Таня. Расскажи немножко о себе.
Татьяна Шаврина: Привет! Привет всем! Да, действительно, я занимаюсь обработкой естественного языка, то, что называется Natural Language Processing, NLP. И с нашей командой в Сбербанке мы стараемся максимально научным образом подойти к задачам искусственного интеллекта с точки зрения языка. Поскольку мы все более или менее подкованы в лингвистике, в каких-то когнитивных науках и еще и программировании, это дает очень интересный результат, о которых, я думаю, мы еще сегодня поговорим.
Как разработка ИИ объединила лингвистику, программирование и когнитивные науки?
[1:04 ] Даниил Скоринкин: Расскажи немножко, как ты вообще видишь состояние вот этой области научной, которая называется искусственный интеллект.
Татьяна Шаврина: Да, это очень широкий вопрос. И получается, что люди с разных сторон подходят к решению. Мы подходим как лингвисты со стороны языка и мы опираемся на то, что все следы человеческого мышления, какие-то когнитивные процессы так или иначе находят свое отражение в языке. языковых данных у нас достаточно, с ними можно начинать работать. Вперед! Давайте моделировать интеллект. Но, конечно, у такого подхода тоже есть ограничения, которые нам известны. Можно подходить методологически, смотреть, как развиваются дисциплины, как развивается нейрофилософия, философия сознания, как развиваются искусственные нейронные сети. Но тоже просто гораздо интереснее с точки зрения эмоциональной заниматься применением того, что лингвистика достигла за 20-21 век и смотреть, как действительно это хорошо сочетается с тем, что технически мы уже можем сейчас сделать. Как я уже начала говорить, можно сказать, что лингвистика для нас — это центр всего. И программирование, и когнитивные науки, и какие-то гуманитарные вещи — они все соединяются в ней.
Даниил Скоринкин: Можно я немножко зацеплюсь за лингвистику. Мне кажется, это какой-то не очень стандартный, вернее, непопулярный такой, мне кажется, фокус, наоборот, очень много людей, которые слыхом не слыхивали ни про какую лингвистику. И они действуют в соответствии с этим известным девизом про то, что я увольняю лингвиста и производительность системы повышается. Все эти люди, которые приходят с компьютерным бэкграундом и обучают какие-то нейросети. И, вроде бы, они начинают работать. Как ты относишься к такой позиции? Мне кажется, что она, вообще говоря, если не доминирует, то разделяется очень большим количеством людей, которые относят себя к разработчикам искусственного интеллекта.
Татьяна Шаврина: Я думаю, что настанет момент, когда их уволит лингвист. Не будем про это. Действительно, очень много разработки идет без какого-либо обращения к смежными наукам, но вопрос в том, где кончается наша техническая возможность без гуманитарных наук и без смежных наук. Если мы хотим получить какой-то теоретический искусственный интеллект, смоделировать отдельно логические способности, отдельно здравый смысл, память как-то смоделировать, использовать знания, целеполагание смоделировать. Может ли это сделать просто нейросеть или все-таки мы должны какие-то предметные знания тоже туда включать? Кажется, что все-таки должны. Поэтому с точки зрения технической будущее за специалистами, которые так или иначе будут сочетать.
Что должен уметь «сильный ИИ»
[4:25] Анатолий Старостин: Неслучайно мы назвали наш подкаст «Неопознанный искусственный интеллект», за этим есть вполне конкретный смысл. Мы хотим в ходе этих бесед разбираться в том, что такое искусственный интеллект. Потому что это слово стало крайне популярным, оно звучит часто из самых разных источников, и мы не понимаем до конца, что это такое. Как ты понимаешь искусственный интеллект?
Татьяна Шаврина: Давайте начнем, наверное, с терминологии, потому что тут прозвучало несколько. У нас есть искусственный интеллект, есть отдельно машинное обучение, deep learning и всякие еще виды learning’а, у нас есть то, что называется сильный искусственный интеллект, artificial general intelligence или AGI, о котором все говорят, и у нас есть еще куча маленьких терминов, типа широкий искусственный интеллект, узкий искусственный интеллект, мультимодальный и так далее. И есть какой-то гипотетический абсолют, к которому мы стремимся. И какой-то научный консенсус, наверное, где-то с 17 года есть в том, что общий искусственный интеллект — это искусственный интеллект, который сочетает в себе несколько аспектов. Первое — он мультимодальный, то есть он работает одновременно с информацией из разных источников: это текстовые, это картинки, это звук, и обрабатывает это все вместе. Второе — это то, что он мультидоменный, то есть он одинаково хорошо работает и в одной предметной области, и в другой,и может обладать новыми, может постепенно выучивать новые. И, наконец, третий аспект — это то, что он может сам выучивать новые навыки. Вот это самый важный, наверное, аспект, который основной. И если обратиться, например, к передовому подходу, который представляет Google, и Франсуа Шолле, который автор Кerаs’а еще, он считает, что основной чертой искусственного интеллекта является способность получения новых навыков.
Анатолий Старостин: То, что мы с тобой, Дань, называли адаптивностью. Может быть, это не совсем научно, может быть, в науке так это не называют, но в ходе наших разговоров звучала эта идея, что искусственный интеллект должен как-то приспосабливаться к новым задачам.
Даниил Скоринкин: Да, то есть не только выполнять ту задачу, к которой его готовили изначально, или тот класс задач, а переучиваться под какую-то совершенно новую область действия, под некоторый новый мир объектов.
Анатолий Старостин: А насколько, Тань, насколько мы далеки, по-твоему, от того, что, вот, описывают эти люди, в частности, Франсуа Шолле, от того, что он писал, насколько мы вообще далеки с теми подходами, которые есть сейчас?
Татьяна Шаврина: Думаю, каждый из нас может задать себе вопрос и мы все примерно одинаково ответим. Мы очень сильно далеко, но мы знаем, куда стремиться, так скажем. В какой-то степени мы ограничены неуспехами текущего уровня нейронаук, потому что мы пытаемся смоделировать то,в чем мы не уверены, что оно существует, так скажем. Да, у нас есть отдельные понятия, которыми мы оперируем: целеполагание, здравый смысл, предметные знания и что это такое с точки зрения синапса, что это такое с точки зрения устройства мозга.
Даниил Скоринкин: То есть стремиться надо в нашу черепную коробку? Чтобы создать искусственный интеллект, нужно еще больше познать естественный.
Татьяна Шаврина: На самом деле, да. Понятное дело, что к этому все идет. Сейчас уже есть работы, которые используют более сложные клеточные архитектуры как метафору к тому, чтобы сделать новый тип нейрона, например, в deep learning’е. И есть, например, такой набор технологий, который называется сell lineage, который моделирует поколение клеток, которые… вот им в начале записали какую-нибудь картинку в память. Среда меняется и потом популяция сотая, тысячная уже восстанавливает эту картинку, например. ТО есть какие-то первые шаги в этом плане есть.
Как построить ракету «сильный ИИ»
[08:10] Даниил Скоринкин: Есть вот эта прекрасная метафора Франсуа Шолле, что, когда мы обучаем все более и более хорошие трансформеры, нейросети типа Bert’а, это примерно похоже на то, что мы строим все более и более высокие башни, пытаясь дотянуться до Луны. Естественно, Луна является метафорой в образе искусственного интеллекта. Нужно вроде как строить ракеты. Есть ли у тебя понимание того, как эту ракету строить?
Татьяна Шаврина: Ты когда сказал про эту цитату, я думала, там в конце опять, что лингвистов…
Даниил Скоринкин: Нет, сегодня ни один лингвист не пострадал при записи этого подкаста.
Татьяна Шаврина: Тут много вещей, которые хочется прокомментировать. Во-первых, мне кажется, что с точки зрения больших корпораций, маргинальные исследования никогда не будут интересны, они никогда не получат поддержки, к сожалению, потому что их слишком много. И выстроить из этого что-то одно и процент такой маленький, что это даже не инвесторская политика, это здесь не получится даже. другой вопрос, что можно управлять тем, что уже начало выстреливать, что сейчас и так происходит, наверное. И, наверное, все большие исследователи так или иначе аффилированы с большими компаниями. Мне не кажется, что это что-то хорошее, потому что мы находимся с одной стороны, что нам нужны вычислительные мощности, которых не будет у человека не аффилированного с большим университетом или с большой компанией. Но тем не менее мы стремимся же к чему-то высокому, а корпоратива, она не всегда дает возможность именно заниматься только наукой, которая здесь и требуется. При этом, я еще раз повторюсь, мы не знаем, что мы моделируем. У нас есть поверхностное представление о том, что у нас есть. Но то, что у интеллекта есть здравый смысл и есть логика и это все отдельно, и оно как-то устроено модулярно, это некоторая теория, которая пока еще не доказана. Почему я говорю, что лингвистика дает большой источник для изучения здесь? Потому что лингвистика и такое интересное направление философия, философы иногда замечают очень хорошие вещи про технологии, которые сами разработчики, кстати, не замечают. лингвистика посмотрела на этот вопрос уже очень давно. И мне кажется, это 65-й год, когда Хомский представил Language acquisition device, LED, языковую способность, который как орган, который есть в мозге. в 15-ом году было 50 лет, как ничего не нашли. Но в принципе мы уже давно строим какие-то теории на том, что мы не находим что-то в мозге и это большая проблема.
Анатолий Старостин: 22:50 Прости, но не нашли, так сказать, физически. Не увидели этого места в мозгу, которое можно карандашиком обвести. Но сама гипотеза о том, что такой девайс есть, она как была гипотезой, она не опровергнута. Я имею в виду, что если это какая-то нейронная структура из обычных нейронов, не искусственных, то она очень сложно распределена по мозгу и мы о ней ничего сказать не можем.
Татьяна Шаврина: 22:23 Да, и в этом проблема. Очень много таких вещей, о которых мы ничего не можем сказать, но мы предполагаем их наличие, которое ничем не подтверждено. Обычно в науке мы идем в обратную сторону. Если кто-то что-то утверждает, он должен доказать, что этим можно пользоваться, что это есть. И вот в данном случае мы ждем, что это вот-вот будет доказано, а пока что пользуемся. Cейчас МРТ и ФМРТ, они дают какие-то отстраненные, косвенные, что ли, результаты того, как это может работать. Есть очень интересное направление исследований, например, эволюционная психология, которая изучает мозг, как он менялся, например, в эволюции у человека и у родственных видов. Они находят какие-то параллели о том, как устроено у кого. Есть такая теория модулярности, которая, собственно, и говорит, что вот у нас есть отдельные модули в мозге, которые отвечают каждый примерно за одну функцию. И потом как-то получилось, что кора стала ими управлять и это все стало более сложно работать. Это все опять же не фальсифицируемо сейчас, то есть об этом пишутся книги, но есть методологическая проблема. И очень много интересного находят, например, на том же ФМРТ видят, что делают грамматическую ошибку, человек слышит на слух, что кто-то сделал ошибку, это звучит и выглядит на общей картине примерно так, как если неправильную ноту в мелодии нажимать. Казалось бы, вот почему? А музыка какое вообще отношение имеет к языку? но вот как-то так получилось, что язык возник, он дал преимущество эволюционное и стал развиваться и больше ни у кого такого нет.
Должен ли ИИ быть антропоморфным
[12:50] Анатолий Старостин: Такого рода свойствами и многие искусственные системы обладают. Языковые модели достаточно сложные, они тоже замечают такие вещи. Если смотреть, что происходит внутри сложно обученной нейронки, когда они видит текст с ошибкой, там тоже будет своего рода спайк. То есть кажется, что в этом месте мозг просто как бы некоторое вероятностное пространство внутри. И когда оно нарушается, у него возникает… когда в нем возникает какое-то неординарное явление в том, что он слышит, в нем что-то возбуждается. Но это все теории… Я как раз хочу чуть-чуть в сторону уйти от мозга, хотя мне интересно, почему Таня в основном сразу начинает говорить про устройство мозга, хотя Даня, казалось бы, напрямую об этом не спрашивал. Ты правда считаешь, что как сказать, правильный научный путь через именно глубокое понимание устройства именно нашего мозга? Что нет другого пути? Должен ли искусственный интеллект вообще быть антропоморфным?
Татьяна Шаврина: Да, если вопрос о моем личном отношении, то я в этом плане действительно материалист и считаю, без низкоуровневого понимания того, что происходит в мозге мы не добьемся ничего. Но тут есть две задачи. Есть сознание, есть проблема сознания, а есть проблема интеллекта. Можем ли мы смоделировать интеллект без сознания? Ну, наверное, можем. Но просто есть такое когнитивное искажение популярное, что как только мы моделируем что-то интеллектуальное, мы перестаем считать это интеллектуальной задачей. Если вы хорошо играете в шахматы или, может быть, даже не очень хорошо, но вот с кем-то вы играли и вы выиграли, и вы горды собой, и вы считаете: «Вот как я его сделал». а потом машина берет и обыгрывает вас в шахматы примерно с таким же началом партии. Вы говорите: «Ну блин, это же машина».
Даниил Скоринкин: А она все просчитала.
Татьяна Шаврина: «Конечно, она знает все партии. Конечно, она меня обыграла. Что ж тут, это ничего такого, что машина обыгрывает человека, это вообще не интеллектуальная задача». И если мы говорим о том, что у нас есть интеллект не антропоморфный, а какой-то абстрактный, во-первых, мы до конца не можем понять, каким он должен быть, потому что у нас-то только свой родной, аналоговый — можем ли мы вообще его воспринять. Это во-первых.
Даниил Скоринкин: Но это же про внутреннее устройство. Он же не говорит, что будет с нами общаться на естественном языке. Он говорит о том, что внутри он не обязан копировать нейроны.
Анатолий Старостин: Я даже знаю твой следующий ход в нашей шахматной партии, что я сейчас скажу. Просто, смотри: представили сейчас себе, что нет, мы не будем разбираться, у нас просто некий black box, который ведет себя определенным образом. Хочется понять, можешь ли ты сформулировать какой-то критерий интеллектуальности для системы. Каким условиям должен удовлетворять этот черный ящик, чтобы ты назвала его интеллектуальным? Если он играет в шахматы, значит, он не интеллектуальный, мы уже поняли. Но это правда, потому что шахматы — это узкая задача с конкретными правилами и так далее. Изобрели классные алгоритмы, которые супер играют в шахматы, это достижение, но это мы уже вывели за рамки интеллектуального. Что осталось в этих рамках?
Татьяна Шаврина: Ну, это ты сейчас так говоришь, потому что мы подкаст записываем в 2020 году, а в 80-е было непонятно, что если мы научим алгоритм играть в шахматы, то это не будет искусственный интеллект. И сейчас мы опять продолжаем двигаться в этом направлении от противного, потому что опять что-то мы сделали и опять это не искусственный интеллект, что ж такое. Мне кажется, что критерий, который есть сейчас — это в принципе достаточно разумный технический критерий. И они гласят вот что: что система, которую мы хотим воспринимать как интеллектуальную, она должна, во-первых, приобретать новые навыки, а во-вторых, она должна приобретать новые навыки на небольшом количестве примеров, на таком же или меньше, как это мог бы сделать человек. Вот в этом году было запущено соревнование Ark, где интеллектуальные задачи были, я не знаю, как это назвать, это абстрактные операции, на самом деле, которые любой человек может сделать, выраженные в картинках. Там были такие крупные пиксели на картинках и надо было где-то продолжить линию, где-то как змейкой пройтись до кружочка и так далее. И на паре примеров было абсолютно очевидно, что нужно делать в новом. И каким цветом еще закрасить. Результат соревнования ужасный — никто не справился с этим. И языковые модели тоже пытались применять и даже получили какой-то результат, но тоже все плохо было. Но стремление есть. И вот, пожалуйста, задача, которую можно назвать интеллектуальной. Будут и другие, которые уже, может быть, будут мультимодальные, допустим. Замечательно, если что-то получится.
Тест на интеллектуальность
[17:20] Анатолий Старостин: Просто мне в какой-то момент пришел в голову некий тест на интеллектуальность. Я развивал идею теста Тьюринга. Я бы хотел ввести более четкие правила. И по сути дела мне пришло в голову такое, что… Задача. Написать чат-бота, робота, только текстом, никакой мультимодальности, просто текст, которому можно в ходе разговора с которым на естественном языке объяснять ему правила некоторой игры… Я объясняю ее на естественном языке этому боту и он начинает со мной в нее играть. И даже не обязательно выигрывать. Я все это сделал на основе… Ты, наверное, знаешь, что у меня есть опыт работы с Алисой, ненулевой. И когда вот мы делали Алису, быстро достаточно стало понятно, что…Так или иначе, ты делаешь много-много разных паттернов, обслуживаешь, так сказать, много разных сценариев пользователей, туда-сюда, но все равно ты оказываешься в ограниченном домене. А называем мы это персональный помощник, потому что это маркетинг. И меня это в какой-то момент начало очень обламывать, потому что мы вроде как создаем робота, который должен помогать. А помощник… главное его свойство, что ты можешь ему объяснить чего-то из своей жизни: «Вот у меня тут такая-то ситуация. Помоги!» А получается, что такого рода интеракции с роботом ты сделать не можешь. И отсюда родилась идея этого теста.
Татьяна Шаврина: Мне нравится идея. Мне кажется, это очень прикольный тест и он два момента освещает. Первое, что это опять же приобретение новых навыков, но не по примерам, а вот объясняют, как сделать: «Сделай вот так», и это сложнее. Второе то, что тут идет, конечно, моделирование более сложных вещей, моделирование что-то вроде языковой способности. Вот как мы придумываем новую реплику? Мы же это делаем не как языковая модель, по предыдущим словам предсказываем следующие, нет. Мы сначала знаем, что мы хотим сказать примерно. И в процессе мы выбираем слова, да так, чтоб нас поняли. Есть даже подход описанный, он называется «максима Грайса», что это должно быть достаточно информативно, но не слишком избыточно. То есть что-то типа теории информации кодирования, только с философской больше, конечно.
образовательная вставка:
Максимы Грайса — принципы построения диалога, сформулированные философом Полом Грайсом. Он предположил, что в осознанном диалоге обе стороны стремятся
- излагать не больше и не меньше информации, чем требуется,
- не говорить то, в чем сомневаются,
- избегать двусмысленности, неясности и отходов от темы.
Максимы Грайса соблюдаются не в каждом диалоге. Грайс лишь предполагал, что стороны диалога стремятся к этому.
И когда мы общаемся, мы это делаем все время. Если бы машины могли так делать, это был бы совершенно другой уровень.
Чем человек отличается от нейросети при обучении
[21:00]Анатолий Старостин: Тогда — раз ты приняла эту идея без отторжения, а даже с некоторым одобрением, тогда давай попробуем нашим слушателям объяснить, почему это сейчас сложно, почему текущие технологии такого рода задач решить, в общем, не могут, скажем честно, пока не могут. Чего не хватает?
Татьяна Шаврина: Так, ребята, вы меня сейчас опять убьете. Потому что мы не понимаем, что в голове происходит, поэтому не можем. То что на вход и на выход. А то что в середине…
Даниил Скоринкин: Смотри, такой наброс. А может быть такое, что у нас в голове нет ничего сильно отличного от того, что происходит в нейросетях, просто у нас это все очень долго происходит. То есть мы уже много всяких игр видели. Двухлетнему ребенку ты ничего не объяснишь, на самом деле.
Анатолий Старостин: Это правда.
Даниил Скоринкин: Пятилетнему уже может объяснишь, но не очень сложную игру. И такой мой наброс заключается в том, что, а может быть, те же самые нейросетевые подходы-то они нас к этому и приведут, просто им нужно гораздо больше данных…
Татьяна Шаврина: Мне кажется, что нам не хватает не только каких-то текстовых данных еще, чтобы это можно было все моделировать, а не хватает еще жестов, мимики и всего того, что мы выучиваем, на самом деле. И мы очень хорошо ориентируемся по невербальным признакам вот этим о том, что сейчас лучше сказать. И мы же не все проговариваем, что думаем, часть мы опускаем, но мы считаем, что это понятно из контекста. А контекст — это очень широкая вещь. Это то, что уже было сказано, это то, что было сказано в прошлую встречу с этим же человеком, это то, что мы думаем, что он знает, то, что он обсуждал с кем-то еще…
Нейросети решают ЕГЭ
[21:59] Анатолий Старостин: В продолжение темы про интеллектуальность, было бы очень интересно обсудить соревнование, в котором вы решали ЕГЭ.
Татьяна Шаврина: AI Journey — это такое ежегодное соревнование, которое Сбербанк проводит. И в прошлом году, в 19-ом, оно было посвящено решению ЕГЭ по русскому языку. Мы взяли методологов, составили новые варианты закрытые каноничные, которых никто не видел, собрали какие-то варианты, которые можно было брать из книжек и выкатили то, что можно, открытую выборку обучающую.
Даниил Скоринкин: Сейчас, я уточню. То есть специально для соревнования были подготовлены некоторые варианты ЕГЭ теми же людьми, которые делают обычное ЕГЭ?
Татьяна Шаврина: Да-да, верно. 60 вариантов там: 30 на дев и 30 на тест, нормально. ЕГЭ по русскому — что это такое? Там 26 заданий разных типов и 27 — сочинение. Там много заданий и они все достаточно поверхностны, на самом деле. «Найдите существительное женского рода в предложении», «Напишите номер предложения, в котором есть местоимение». Вот такие какие-то вещи они затрагивают, грамматику затрагивают, правописание, затрагивают понимание кусочка текста. И в конце надо написать сочинение по тексту. Тоже там дается стандартная проблема: «человек на войне», «любовь» и надо написать стандартное шаблонное сочинение. По итогу, когда уже мы взяли скомбинированное решение нашего бейслайна и лучших решений участников каждого задания, у нас получилось 69 баллов из 100. И это на полбалла хуже, чем среднее решение в прошлом году.
Даниил Скоринкин: Но это все-таки вы вручную составили результаты лучших систем в каждом отдельном вопросе, правильно?
Татьяна Шаврина: Мы сделали baseline для соревнования, решение этого соревнования, оно чисто инженерное. Надо понимать, что там нет какого-то большого интеллекта и это решение не может обобщиться и начать решать задания другого типа. И я думаю, успех, он еще связан с тем, что мы делали примерно также, как и школьники, которые сдавали, потому что они вызубривали каждое задание, как его решать. Мы тоже вызубривали, писали скрипт на каждое задание, чтобы его решить. И получилось почти 70 баллов, прилично. И это с сочинением, я хочу сказать.
Даниил Скоринкин: Кстати, про сочинение я хотел спросить. Его все-таки не вызубришь. Насколько адекватные там получились тексты и вообще кто их проверял?
Татьяна Шаврина: Вызубришь! Ответ такой. ЕГЭ-шное сочинение очень шаблонное. Там есть вступление, авторская позиция, надо с ней согласиться или не согласиться, выдать два аргумента, желательно, из русской литературы и все это завершить песней, что Россия — наше отечество, смерть неизбежна. И после этого…
Анатолий Старостин: А вот скажи, я слушаю и у меня отзывается в голове система IBM Watson. Когда я про нее читал, мне все казалось, что вот эта какая-то похожая история.
образовательная вставка
IBM Watson — суперкомпьютер фирмы IBM, разработанный для ответов на вопросы на естественном языке. Ватсон имеет доступ к структурированной и неструктурированной информации объемом более чем 4 терабайта, включая полный текст Википедии. В 2011 году Ватсон обыграл людей в телешоу Jeopardy (российский аналог телешоу «Своя игра»).
Вот этот весь хайп, который сколько лет назад был с этим Jeopardy.
Даниил Скоринкин: Они играли в свою игру американскую оригинальную свою игру. Мне кажется, лет 10.
Анатолий Старостин: Вот, да. Ведь потом же, когда про это все писали, было очень похоже, что они проанализировали большое количество типов этих вопросов и делали отдельных, так сказать, роботов, которые лучше справляются с вопросом тех или иных типов. Но тогда они это делали совсем без нейросетей еще, там другие техники были.
Татьяна Шаврина: Конечно, можно решить и статистически, просто наш опыт показывает, что с нейросетями немножко лучше. Мы смотрели эти работы и, действительно, есть еще некоторые решения англоязычных экзаменов, например, хорошо решаются экзамены по математике, по понятным причинам, автоматически. Хорошо решается американский, по-моему, тест на школьные знания, большой блок вопросов и там надо выбрать правильные ответы. Достаточно сложные вопросы и мало отличающиеся варианты. Есть система, которая называется Aristo, ее делают в Allen Institute.
Они на уровне 95% точности решили все вопросы предметные для восьмого класса. Это достаточно сложно.
образовательная вставка
Aristo : проект от Allen Institute for Artificial Intelligence по разработке системы понимания научных текстов.
Aristo должен будет продемонстрировать свои знания, отвечая на вопросы теста и объясняя свои ответы людям. Основная идея проекта в том, что для создания ИИ нужна ментальная модель, объясняющая внутреннюю работу интеллекта.
Они это тоже делали инженерно, то есть там несколько типов моделей, которые определяют, какой тип вопроса, дальше зарешивают, таким образом. Это чисто инженерный подход, его ограничения понятны.
SuperGLUE: тесты-головоломки для искусственного интеллекта
[27:35] Даниил Скоринкин: Давайте тогда, наверное, перейдем ко второму сюжету, это Super Glue, который, как я понимаю, является как раз таким некоторым вкладом вот вашей команды в движение в сторону какого-то более общего, более разумного искусственного интеллекта. Расскажи немножко.
Татьяна Шаврина: Да, это логическое продолжение, на самом деле. То, что мы наелись инженерных решений и решили сделать что-то более широкое… Наверное, любой человек, который сейчас следит за какой-то наукой, связанной с data science, он видит, что шквал публикаций огромен и скорость развития очень сильно возросла, и все конференции перегружены, все процессы рецензирования затягиваются на полгода, восемь месяцев и так далее. Когда уже через год выходит наконец принятая публикация на конференции, она уже устарела, уже есть три продолжения этой же работы. И все это надо как-то сравнивать. Чтобы сравнивать модели, существует подход benchmark’ов. Benchmark подразумевает, что у нас есть несколько типов заданий, дата сет на каждый из типов заданий, зафиксированная тренировочная выборка, зафиксированная тестовая, которая может быть открыта, может быть скрыта. И каждый раз, когда выходит новая модель, ее оценивают вот на этом наборе и помещают на какой-то рейтинг вот этих моделей, чтобы мы посмотрели, где есть какой-то прорыв, а где мы проседаем по качеству. Для русских моделей не было практически ничего по этому направлению сделано.
Даниил Скоринкин: Давай расскажем нашим слушателям, что именно за benchmark, что именно за дорожку тестирования вы сделали, какие задачи в ней есть для того, чтобы проверять, насколько хорошо модели работают.
Татьяна Шаврина: Поскольку нам интересны более высокоуровневые вещи, мы собираем такие задания, которые мы знаем, что их трудно сейчас решить, мы не берем простые. Вся суть задачи Glue и Super Glue… Вообще что это такое? Это General Language Understanding Evaluation, то есть это задача NLU понимания естественного языка. Мы хотим, опираясь только на тексты, смоделировать интеллектуальные способности человека. Какие эти способности? Сегодня уже упоминали. Это здравый смысл, это знания предметные, знания о мире, это логика, это целеполагание и так далее. Мы берем вот эти задания и делаем максимально просто формат, чтобы это было какое-то задание классификации, например, или один всегда надо ответить, но, чтобы правильно сделать задание, нужно задействовать какую-то операцию, логику, знания, либо все вместе. И вот на каждое задание или на два задания сразу таких есть data set, который в себя включает разные примеры целеполагания, логики и так далее. И все эти data set’ы они специально еще не очень большие. На самом деле, их недостаточно, чтобы обучиться, поскольку модели у нас все сейчас предобучены в основном, то есть они уже видели какой-то большой корпус текстов, то мы считаем, что этот data set достаточен только для того, чтобы по примерам научиться делать то же самое, но не с нуля смоделировать ту же логику.
Даниил Скоринкин: Давай все-таки примеры какие-то приведем, потому что это все равно может остаться немножко непонятым, какие именно задачи там ставятся. Есть, скажем, набор задач, который называется «Да-нет QA». Что это такое?
Татьяна Шаврина: «Да-нет QA» да, это задания на понимание текста длинного и на знания. Дается кусочек текста, в котором что-то описывается, например, как американцы высадились на Луну, и вопрос прилагается к тексту, на который можно ответить «да» или «нет» правильно, только если вы поняли текст. В тексте нет ответа, то есть нужно сделать какой-то вывод логический из текста и ответить, что да, американцы были на Луне. Или есть там задания на логику, например. Задания на логику, они формируются таким образом, что там обязательно какая-то языковая подковырка есть, что называется омонимия, когда не понятно точно, к чему относится. «Если бы у Ивана был осел, он бы его бил». Кто кого бил? И надо сказать, что, наверное, это был Иван. Бывают и посложнее примеры.
Анатолий Старостин: То есть можно ли тогда зафиксировать простую мысль, что если бы… Фантазируем! Если бы AGI появился, он бы пришел и на этих бенчмарках получил бы очень высокие цифры, потому что он действительно бы понимал эти тексты? Можно ли считать таким образом, что эти бенчмарки являются отличным таким тестом, который лежит и ждет своего AGI?
Татьяна Шаврина: Хотя бы на уровне человека, я думаю, да. Потому что люди получают там не 99%, а где-то 70, может, 80.
Даниил Скоринкин: Да, в твоем посте на Хабрe мне показалось очень интересным именно раздел про то, как же люди именно перформят, а как же люди…
Анатолий Старостин: А где ошибаются люди? Расскажи.
Татьяна Шаврина: А люди вообще направо и налево ошибаются. Особенно, если с подковыркой вопросы, они стараются максимально быстро ответить. Как вот им показалось первое впечатление, так они и отвечают, а все остальное они прокликивают, грубо говоря.
Даниил Скоринкин: На самом деле, там действительно для человека такие нетривиальные вопросы. Я сейчас просто открыл посмотреть, вспомнить. Политик был признан виновным в мошенничестве. А дальше надо выбрать из двух вариантов. (А). Он начал кампанию за переизбрание. (Б) Он был отстранен от должности. Вообще-то он мог и то и другое начать. Там есть даже прекрасный конец…
Анатолий Старостин: Есть указание страны?
Даниил Скоринкин: Ты прям в точку попал. Ты попал абсолютно в точку, потому что я тебе сейчас зачитаю следующее предложение из поста. Здесь робот колеблется, поскольку обучался на русском корпусе.
Анатолий Старостин: Это интересно. Понятно. Вот такого уровня Common sense надо привлекать, тогда мне понятно.
Даниил Скоринкин: То есть на самом деле Benchmark, он где-то близко к тому интеллекту, который будет производить очень серьезное впечатление на всех, кто…
Анатолий Старостин: Но это же отличная новость! Это значит, что все, критерий уже есть. Вот, перейдите по ссылке, там все лежит. Осталось только сделать.
Даниил Скоринкин: Осталось только сделать.
Футурология: нужен ли «сильный ИИ» человечеству и в каком гараже его изобретут
[33:41] Анатолий Старостин: Хорошо.Представим себе, что мы сделали этого робота. Давайте. Наш подкаст уже близится к финалу сегодня.
Даниил Скоринкин: Пора переходить в будущее.
Анатолий Старостин: Давайте представим себе этого робота. Как ты думаешь, человечеству вообще нужны такие роботы? Как мы с ними будем жить? Может быть, это вообще бессмысленная цель? Один из наших гостей в этот момент, когда мы с ним это обсуждали, прям вот начал прям ругаться. Говорит: «Зачем вы ставите так задачу? Зачем это нужно?»
Даниил Скоринкин: «Это же уничтожает человеческую цивилизацию,» — сказал он.
Анатолий Старостин: «Это же противоречит идее гуманизма». Какие у тебя мысли на этот счет?
Татьяна Шаврина: Я думаю, что независимо от того, будет ли создан искусственный интеллект или нет, мы сами прекрасно справимся с тем, чтобы уничтожить человечество, гуманизм и все, что угодно, потому что в любом случае, искусственный интеллект — это инструмент. Если кто-то… Дядя Вася убил дядю Петю лопатой, можно ли сказать, что лопата виновата? Наверное, нет. В этом плане, мне кажется, рано или поздно это должно произойти. Просто все это очень хотят и столько ресурсов брошено на это, поэтому в какой-то момент, наверное, это произойдет.
Даниил Скоринкин: И если люди могут это сделать, они это сделают когда-нибудь.
Анатолий Старостин: Хорошо. Такой вопрос. Тоже вопрос такой веры твоей. Как тебе кажется, искусственный интеллект изобретет гений в собственном гараже или огромный научный институт?
Татьяна Шаврина: Ох, хороший вопрос!
Анатолий Старостин: Или огромная корпорация, типа Google или Сбербанк?
Татьяна Шаврина: Чисто вероятностно, конечно, гораздо больше, что корпорация.
Даниил Скоринкин: Вообще непонятно, будет ли этот момент как-то отслежен, это же очень такая инкрементальная вещь, там тысяча статей на архиве, которые появляются каждый день, сможем ли мы отследить этот шов, с которого он начался.
Анатолий Старостин: Как раз нужно создавать для этого Benchmark’и, мы только что об этом сказали. Мы должны быть обложены тестами, чтобы, как только он появится, мы отреагировали, выслали соответствующие службы безопасности, чтобы схватили его, посадили в клетку и все такое.
Этика и колониализм в ИИ
[35:30] Татьяна Шаврина: Вообще мне кажется, что мы затронули вопрос, что называется этика алгоритмов, машинного обучения и всего такого. Честно, я как человек, который был напичкан курсами про этику алгоритмов и data science’а, я считаю, что нет никакой отдельной этики алгоритмов, это обычная человеческая этика, которой все меньше в data science, на самом деле. Можно сказать, что это такой способ тем же самым корпорациям и государствам зайти на поле искусственного интеллекта. Почему? Потому что… Есть очень хорошая книга, которую я могу посоветовать тем, кто дошел до конца подкаста и интересуется даже этикой. Называется «The cost of connection». Это Cambridge Press, по-моему. В прошлом году вышла. Она объясняет происходящее в data science и вообще в интернет коммуникациях колониальной экономикой. То есть то, что происходит — это новая колониальная политика. Кто первый построил инфраструктуру, тот и выкачивает все дорогостоящие данные. И, конечно, все государства и компании хотят зайти на это поле. И делают они это через этику, потому что, ну, как-то им же надо…
Анатолий Старостин: Данные — новая нефть, вот это все.
Татьяна Шаврина: Да-да. Написать новые отраслевые стандарты, все это прописать. Мне кажется, это исключительно для этого все делается.
Даниил Скоринкин: Ну да, в принципе, мне кажется, метафора колониальная очень хороша, потому что это действительно новый некоторый фронтир, некоторое новое измерение, которое все быстро очень захватывают сейчас. Дальше начинается период какой-то дикости и полнейшего вот этого фри-райда, свободные ковбои, которые там скачут и друг в друга стреляют, а потом государство начинает пытаться их всех налогами облагать и правилами обкладывать.
Блиц
[37:23] Анатолий Старостин: Мне кажется, мы плавно подходим…
Даниил Скоринкин: Да, я готов к концу. И в конце есть блиц, как и положено у всех модных подкастеров, блогеров и так далее. Короткие вопросы. Я задаю вопрос коротко, ты отвечаешь как хочешь. Блиц. Посоветуй какие-нибудь книги, сериалы по теме искусственного интеллекта, которые тебе, может быть, запомнились.
Татьяна Шаврина: Я бы посоветовала какие-нибудь открытые лекции, если честно, потому что это дает очень хорошее представление о том, что прямо сейчас происходит. Например, я очень советую, «Key Notes» прошлого NIPS’а. Они абсолютно не супер технические, они как раз очень междисциплинарные и простые для восприятия, но при этом очень хорошо показывают, что сейчас происходит. Например, Джошуа Бенджо, который выступает с внедрением когнитивной теории Даниела Канемана «Thinking fast and thinking slow», это его книжка, и он это он назвал System One Deep Learning, System Two Deep Learning, там где что-то мы делаем на автомате и машины хорошо это воспроизводят, а то, что мы делаем с привлечением коры, грубо говоря, это сейчас очень плохо работает, воспроизводится пока что. Там были еще некоторые лекции, например, про Federated Learning, там где Google собирает с андроидовских смартфонов какую-то опосредованную информацию и на них на всех делают какую-то общую модель. Это действительно очень круто и за этим может быть какое-то будущее точно. Ну, и cell lineage тоже там был как раз, так что это отличная вещь. Ну, и я, наверное, посоветую еще не столько по искусственному интеллекту, потому что там какого-нибудь Харари все читали вы и без меня. Это прочитайте. Прочитайте про язык что-нибудь, например, Стивен Пинкер «Язык как инстинкт» — популярная хорошая книжка.
Даниил Скоринкин: Доверишь ли ты искусственному интеллекту воспитание собственных детей?
Татьяна Шаврина: Я бы и себе не доверила. Нет, нет, конечно, нет.
Даниил Скоринкин: Боишься ли ты за свое рабочее место? Лишат ли системы искусственного интеллекта нас работы? Кого-то из нас или из твоего окружения. Станут ли люди такими мускульными придатками ИИ?
Татьяна Шаврина: В каком-то смысле они уже стали на некоторых профессиях. Я пытаюсь все, что я не понимаю, объяснять через экономику все-таки, поскольку я работаю в банке. И мне кажется, что, скорее, экономика будет устроена так, что мы лишимся работы, а не искусственный интеллект. Это лопата, ребят, это лопата.
Анатолий Старостин: Мы все лишимся работы в смысле, что нам не нужно будет работать? Ты про коммунизм?
Татьяна Шаврина: Нет. Давай не будем про коммунизм в этом подкасте.
Даниил Скоринкин: Подкаст без коммунизма. Хотя он называется вполне по-советски, он называется «НИИ», в нем есть что-то такое из 70-х.
Анатолий Старостин: Сейчас, где это было… У Лема, да? Было пару рассказов про вот это будущее, где люди в принципе уже не работали, а жили в каком-то таком мире, где проблема ресурсов решена в принципе. Где, грубо говоря, еда из воздуха появляется.
Татьяна Шаврина: Нет, мне кажется, я не так это воспринимаю. Мне кажется, что просто у тебя не будет права выбора той работы, которая у тебя сейчас есть, на самом деле. Вот и все.
Анатолий Старостин: Прямо как в третьем сезоне «Black mirror». Ой, не «Black mirror», «Мир дикого Запада». Там большой-большой такой круглый искусственный интеллект, который за всех все решил заранее. Просто каждому уже все назначил, судьбу рассчитал, и люди, на самом деле, лишены свободы воли как таковой.
Финал
[40:43] Анатолий Старостин: давайте прощаться, мне кажется, сегодня был супер интересный разговор. Таня, спасибо тебе большое, что ты к нам пришла, нашла время. Мне ужасно интересно, будет ли слышен дождь за окном.
Даниил Скоринкин: Да, но дождь очень уютный, с грозой и так тоже очень хорошо, как во втором Терминаторе, примерно так торнадо надвигалось, прямо атмосферно.
Анатолий Старостин: Мы здесь хорошо очень посидели, спасибо тебе. У нас в гостях была Татьяна Шаврина.
Даниил Скоринкин: Team Lead Сбербанка, который занимается как раз разработками в области AGI, искусственным интеллектом в широком применении и обработке естественного языка. Таня, спасибо большое! Было очень интересно!
Татьяна Шаврина: Спасибо!
