Достигли ли нейросети потолка, или они еще принесут новые прорывы? Почему комар все еще умнее беспилотника? Нужен ли человечеству сильный ИИ, или это угроза цивилизации? Как и где сталкиваются интересы Data Science и службы безопасности? В новом выпуске подкаста НИИ — Константин Воронцов, профессор Физтеха и Вышки, доктор физ.-мат. наук, человек, который занимается анализом данных, машинным обучением и искусственным интеллектом с начала 90-х.
Оглавление выпуска
01:30 — В чем революция глубинного обучения
08:28 — Водитель машины как гибридная система машинного обучения
11:39 — Этап «братьев Райт» в глубинном обучении: смотрим, что взлетит
19:24 — Кошмар службы инфобезопасности: обучение на реальных потоковых данных
21:54 — Почему комар все еще умнее беспилотника
26:14 — «Мы роем себе могилу»: чем опасна мечта о сильном ИИ
36:03 — Можно ли сделать универсального помощника
51:16 — Человек versus нейросеть: сколько примеров нужно для обучения нам самим
54:36 — Когда мы уже начнем понимать, что происходит внутри нейросетей
В выпуске были упомянуты
книги, ссылки, термины, персоналии
- Deep Learning — 01:31
- ontology engineering и ontology learning — 07:36
- статья Зализняка про систему дорожных знаков — 10:46
- Рудаков Константин Владимирович — 22:01
- Artificial General Intelligence — 27:16
- Реймонд Курцвейл — 31:06
- Братья Стругацкие — 34:22
- фильм Спайка Джонза «Она» и система JARVIS из серии фильмов Iron Man — 40:07
- GPT-3 — 41:35
- Франсуа Шолле и статья «Measure of intelligence» — 48:23
- Few short Learning — 52:43
- BERT и LSTM — 56:28
Ссылки и полезная информация
- Ссылка на тг-канал подкаста
- Ссылки на платформы с подкастами:
Текстовая версия выпуска
Даниил Скоринкин: 00:02 Привет, друзья, с вами очередной выпуск подкаста “Неопознанный искусственный интеллект” от издания “Системный Блокъ”. Подкаста, в котором мы пытаемся разобраться, что называют искусственным интеллектом сегодня, во что он превратится завтра и когда уже наконец роботы поработят мир и оставят нас без работы. Сегодня у нас двое ведущих и один гость. Ведущие — это я, Даниил Скоринкин, главный редактор издания “Системный Блокъ”, и
Анатолий Старостин: я — Анатолий Старостин, в данный момент я руководитель службы развития технологий медиасервисов
Даниил Скоринкин: Ну, в гостях у нас — Константин Воронцов, профессор Вышки, профессор МФТИ, профессор РАН, кажется, еще.
Даниил Скоринкин: : Константин, расскажите про себя, пожалуйста, немножко.
Константин Воронцов: Ну, в общем-то в профессии анализа данных я со студенческих лет. Это примерно начало 90-х. Учась на физтехе, пришел заниматься распознаванием образов.Через 10 лет узнал, что это на самом деле называется машинное обучение. Еще через 10 лет узнал, что на самом деле это называется data mining, потом — data science, ну и так далее, то есть область меняет свои названия, а я как вот занимался так и занимаюсь чем-то про данные, сейчас это называется искусственный интеллект.
Современное состояние ИИ: диплернинг
01:30 Анатолий Старостин: Вот как раз хочется сразу тебя спросить про это понятие — искусственный интеллект. Как ты его понимаешь? И как ты видишь его современное состояние?
Константин Воронцов: Ну, я, наверное, не буду раскрывать карты сразу. Я чуть попозже скажу, как я его понимаю, а пока — про состояние. Ну что сказать, два слова — deep learning. Основной девиз текущего состояния этой области. Пришли нейронные сети, но они давно уже, конечно, пришли, ими занимаются с 50-х гг. еще, но в компьютерном зрении где-то в 2012 году произошел крутой поворот, и глубокие нейронные сети, так называемые сверточные сети, сделают там маленькую революцию. И с тех пор начали анализировать с помощью глубоких нейронных сетей все более и более сложные данные. С изображений перекинулись на видео, на сигналы, речь, аудио, музыка, потом графовые данные, транзакционные данные, и вот началось победное шествие разного рода сложных нейросетевых архитектур, которые решают очень сложные задачи. В чем качественный скачок? Раньше в машинном обучении, ну что значит раньше: где-то с 50-х гг по нулевые, в основном, решались задачи с рафинированной информацией, когда объекты, для которых мы что-то предсказываем, представлены в виде векторов. Этим жила математическая статистика, этим жило машинное обучение, и так мы жили довольно долго, и при этом — всегда человеческой работой оставалось сформировать вот эти самые векторные признаки описания. Грубо говоря, как решались задачи компьютерного зрения? Сидели группы инженеров, которые придумывали, как нам векторизовать изображение для решения данной конкретной задачи. Если мы хотим лица людей распознавать — одно. Если мы хотим иероглифы китайские распознавать — другие признаки надо было изобретать. Если мы хотим номерные знаки распознавать — это что-то третье. И вот для каждой задачи изобретались признаки. Значит, в чем состояла революция глубокого обучения: пришли и сказали, что не надо людям больше заниматься этой работой — изобретать признаки. Есть алгоритм, который для любых входных изображений автоматически находит векторное признаковое описание, то есть вот сразу этой работой инженерной стало можно не заниматься. Это очень существенное продвижение вперед, а главное, что, во-первых, автоматизировался труд исследователя, а, во-вторых, качество решения задач стало радикально лучше — настолько, что теперь мы уже говорим, что в компьютерном зрении эти алгоритмы распознают лица, иероглифы, номерные знаки лучше, чем люди.
О логико-символьных подходах и их фундаментальных недостатках
04: 22 Анатолий Старостин: Может быть, есть еще какие-то пути, другие? Вообще не так? Я хочу свернуть в сторону логико-символьных моделей, онтологии и прочих вещей. Что ты думаешь вообще? Направление вроде так подзакопано, оно не в тренде и тд., но кажется, что люди потратили много времени на то, чтобы думать о том, как думать, как вообще устроено мышление и как его моделировать. Как ты думаешь, не стоит ли больше заниматься этим, может быть, даже, чем deep learning’ом или как-то одинаково вкладываться в это направление? Может быть, это может очень сильно сократить объемы тех датасетов, которые нам нужны, если мы будем как-то моделировать логику?
Константин Воронцов : Почему это направление, на мой взгляд, притормозилось — потому что это неестественнная для человека деятельность. Идея очень классная — давайте научимся моделировать знания и давайте эти знания непосредственно вкладывать в память компьютеры. И вот придумали все эти фреймы, онтологии и много всяких формализмов. А потом оказалась одна простая вещь: эти данные-знания человек должен вбивать в компьютер из собственной головы. И оказалось, что этим никто не хочет заниматься. Почему? Потому что это не реальная деятельность, это некий симулякр, это какая-то искусственная деятельность — когда ты делаешь информационное описание той рабочей среды, которую ты хочешь формализовать. И оно искусственное в том плане, что оно отвлекает тебя от основной работы — вместо того, чтобы применять знания для дела ты начинаешь, пользуясь определенным формализмом, вкладывать эти знания в компьютер. К чему это приводит? К тому, что первые ценнейшие люди-эксперты со своим опытом занимаются не работой, ради которой они учились, а вот этим вот переводом с языка человеческой головы в язык компьютера. Этим заниматься просто неприятно — потому что ты хочешь заниматься созидательной работой, а не перекладывать свои знания на язык компьютера. Из этого следствия даже те онтологии, базы знаний, которые создаются — их очень сложно обновлять, они постоянно устаревают, они постоянно не поспевают за уровнем развития. И надо делать реальную работу. Ту, ради которой эксперт учился десятилетиями и ту, которую он хорошо умеет. Нужна система, которая будет следить за тем, как он ее делает, и что при этом происходит, как он принимает решения. Это все логируется, и само упаковывается, поэтому мы переходим постепенно от ontology engineering к ontology learning. То есть, есть поток данных, и вот те структуры знаний, которые могут иметь форму онтологии, фреймов, неважно чего — их надо выучивать, наблюдая за тем, как идут реальные производственные процессы, не заставляя людей реально этим заниматься, потому что это скучная утомительная работа и непрофильная работа, и человеку не хочется это делать. А вот проследить за тем, как люди реально работают, а потом положить это в структуры — да Бог его знает, что это будет — онтология или нейронная сеть, а на самом деле между ними не такая уж фундаментальная пропасть. То есть, что-то такое будет, что будет выучивать некие структуры и смыслы, просто наблюдая за тем, как происходит человеческая деятельность.
Анатолий Старостин: Я точно знаю, что на текущий момент в autonomous vehicles (беспилотниках) очень много вещей делается rule based, в сочетании с методами компьютерного зрения, потому что не получается набрать весь этот бесконечный датасет на все случаи жизни. Я помню вот недавно было интервью Бори Янгеля из «Яндекса», и он упоминал, что они изобретают формальные языки описания каких-то там событий. Им эти модели нужны внутри их алгоритмов. Второй пример вообще из другой области. Кажется, что если мы возьмем лингвистику и возьмем механизм перефразирования, вот такой, настоящий — одну и ту же фразу можно сказать миллионом разных способов, переставлять слова и прочее — такая система перефразирования не поддается пока никаким трансформерам и всему остальному, если задачу ставить именно так — сгенерить все возможные фразы, которые значат вот этот смысл. Опять же потому что нужно какое-то глубинное логическое представление — нужно понимать саму суть происходящего, а не просто соединять друг с другом слова. Это пример того, где логика и понимание ситуации тоже могло бы помочь. Ну вот второй пример нужно объяснять, а первый пример — прям очевидный про autonomous vehicles. Мне кажется, что гибридизация логических моделей и нейронных могла бы привести к каким-то феерическим результатам. Или я не прав?
Даниил Скоринкин: И заметьте, кстати, что то, как человек водит машину — это тоже некая гибридная система, как мне кажется, это одна из немногих областей, где разработана для довольно большого количества людей довольно формальная система знаков и правил, и она сочетается с тем, что мы выучиваем, как водить машину и делаем это полуавтоматически, а полу — опираясь на действительно развитую формальную систему. Кажется, даже у Зализняка была статья про знаковую систему дорожных знаков.
Константин Воронцов: Я всегда и всюду за гибридные подходы. Скажу очевидную вещь: если у нас есть технология А, которая решает задачу, и технология В, которая решает задачу, и обе технологии существенно различны, то, конечно, надо строить гибрид, чтобы технология А+В решала задачу лучше, чем А и В по отдельности. Спорить не надо, это один из самых распространенных приемов в инженерии вообще. Так что да, конечно, надо объединять нейронные сети с онтологиями, надо объединять искусственный интеллект с естественным и так далее. При этом, четко понимать, что одного другого не заменяет, а дополняет.
О феноменологическом этапе в развитии ИИ
11:39 Анатолий Старостин: Мне хотелось просто понять, моя собственная интуиция говорит мне о том, что просто развивая методы машинного обучения, методы deep learning’a так, как они сейчас развиваются (я довольно внимательно слежу за статьями по deep learning’у за последнее время насколько успеваю), я вижу один и тот же метод — взяли датасет очередной какой-то, где-нибудь его собрали, нашли, вот, применили очередной алгоритм с какой-то модификацией, то есть очередную сеть с новой архитектурой, получили цифры, показали цифры миру, сказали, что вот здесь у нас еще немножко выросло accuracy, а здесь у нас ROC/AUC красивый и так и двигаемся ступенчато. И вот это же повсеместно сейчас в науке, правда ведь, именно в области deep learning’a?
Константин Воронцов: Если смотреть мелко, то все так и выглядит, давайте поднимемся немножко выше. По двум аспектам поднимемся: первый — о чем все машинное обучение в deep learning’е? О том, что мы сейчас экспериментируем с нейросетвыми архитектурами, мы чисто феноменологически вот уже последние практически 10 лет занимаемся тем, что мы собираем некую метаинформацию о том, какие нейросетевые архитектуры в каких задачах оказались успешными. При этом нам, действительно, необходимо огромное количество отрицательных экспериментов, где что-то не сработало, пошло не так, а вот в этих задачах сверточные сети лучше работают, а вот здесь — трансформеры, а вот здесь — рекуррентные и тд., вот здесь надо нагромоздить 10-20 слоев друг на друга. Все вот это вот выглядит как некое хаотичное экспериментаторство, но на самом деле это обычный нормальный путь для всего естествознания — все науки сначала собирали данные о том, как устроен мир. Этим путем шла физика, биология, медицина, социология и тд. Чисто феноменологический этап развития — начало любой строгой науки. Мы должны собрать этот экспериментальный материал, а потом понять — а, вообще сложные вычислительные сетевые алгоритмы строятся так, это кубики кубиков из кубиков, и они должны вот здесь иметь такую структуру, и когда мы это все вместе соберем — это будет выполнять какую-то очень сложную работу. Посмотрите на всю инженерию: современный авиалайнер он тоже возник не на пустом месте — это более ста лет развития вот этой конструкторской деятельности. Мы сейчас вступили, еще 10 лет не прошло, в конструкторскую деятельность по конструированию нейронных сетей — мы в самом начале пути, и дальше это будет усложняться, и это нормально. Кто-то раз в полгода или в 3 года придумывает какую-то новую фишку в какой-то архитектуре, придумал, как это скрестить вместе, и вдруг оно заработало и дало 5% прироста. Отлично, это в нашу экспериментаторскую копилку. Это первый момент, а второй момент — тоже такое верхнеуровнее понимание, о чем вообще deep learning. Осознаем немножечко, за счет чего произошла эта революция — не столько за счет нейросетевых архитектур, а сколько за счет того, что мы вдруг научились решать задачи оптимизации в пространствах очень большой размерности, а это не только нейронные сети. Революция в искусственном интеллекте не только за счет вычислительной техники, нейросетевых архитектур, а еще за счет того, что люди научились решать задачи оптимизации очень большой размерности очень эффективно — то есть, это математическая сторона этой революции. Есть сторона железящная, есть сторона чисто нейросетевая (и там, может быть, люди вдохновлялись структурами естественных нейронных сетей), а есть сторона чисто математическая, и вот эта сторона заключается в том, что мы теперь умеем решать задачи оптимизации просто адской размерности и очень эффективно на нашей вычислительной технике, типа там графических плат. И вот здесь революция, на самом деле, вот-вот произойдет во всех сферах деятельности инженерных, где люди решают задачи оптимизации. Если ваш функционал, который вы оптимизируете, состоит из миллиона слагаемых, то вам надо посмотреть внимательно на то, как обучаются нейронные сети — может быть, у вас вообще ни разу не нейронная сеть. Вы мост строите или оптимизируете какой-то сложный агрегат или еще что-то делаете, так вы посмотрите, если это многопараметрическая задача оптимизации — такие задачи только что, 5 лет назад, в искусственном интеллекте научились решать, а у вас не искусственный интеллект — у вас конструкторская деятельность. Сейчас будут новую революции, если туда перенести всю эту методологию. Неожиданный поворот, правда?
Анатолий Старостин: Нет-нет, почему. То, что deep learning начинает помогает куче смежных областей — это точно так, и у меня нет никаких в этом сомнений. Но и в этом смысле мой последний вопрос про методологию deep learning’a — я задавал как раз, надеясь как-то тебя раскрутить на критику современной методологии или наоборот — на ее полное принятие. Тебе кажется, что сейчас в научном мире все в порядке, там все правильно сделано, то есть сама эта схема, которую я описал: датасет, метод, цифры, датасет, метод, цифры; статический датасет — хорошо ли это, когда это просто очередной слепок, пусть там размеры петабайт, но фиксированный слепок, вот такие данные, вот мы на них что-то делаем, вот мы на них рапортуем цифры? Точно ли это так должно работать? Моя попытка с этим экспериментом про игры — это все попытка вывести тебя на разговор про как бы open domain, про то, что искусственный интеллект существует в открытом domain’e, огромного объема, в очень большом пространстве. У меня все время не укладывается в голове — как то, как сейчас развивается deep learning приведет нас к освоению бесконечных пространств комбинаторных? Вот, наверное, что я пытаюсь сказать.
Константин Воронцов: Ну не надо перепрыгивать через этапы развития. Конечно, они не станут сразу бесконечными, но, в принципе, мы идем в этом направлении, идем правильно. Ключевое слово в том, что ты сказал — переход от статичных данных к динамичных, вот это мне кажется действительно очень важно, и переход от рафинированных предобработанных данных к сырым мультимодальным данным — тоже очень важно. Первое — у нас действительно должна быть огромная память и огромный вычислительный ресурс, чтобы обрабатывать действительно по-настоящему мультмодальные данные, которые льются в нас с вами через 5 органов чувств, а система, которая, например, беспилотный автомобиль или истребитель, в который тоже льется огромный поток самого разного рода информации, причем там есть информация, которую мы нашими органами чувств не воспринимаем — радары и тд., да еще и в таком масштабе времени, в котором мы, в принципе, не в состоянии реагировать. То есть, это точно технологии, которые вот в этих моментах легко превзойдут нас по возможностям — там, где быстрые вычисления, там, где хранение огромных объемов информации и быстрая скорость реакции — они уже давно впереди нас.
Про обучение на потоковых данных
19:24 Константин Воронцов: Но в чем, мне кажется, важный тренд? В том, что, действительно, обучаемые системы начнут обучаться на потоковых данных — это первое, а второе — на разнородных непредобработанных данных. Мы сейчас семимильными шагами к этому идем, то есть, первое — инкреметные алгоритмы, которые учатся в потоке данных, те алгоритмы, которыми обучаются нейронные сети по природе своей — они уже такие . То есть, все эти градиентные методы, методы стохастического градиента, они очень хорошо приспособлены для того, чтобы хватать потоки данных. И, в принципе, это нормальный путь развития, он вполне себе виден. Скоро весь искусственный интеллект начнет работать исключительно на потоковых данных, причем это будет классно для бизнеса. В чем сейчас большой минус, я во многих своих выступлениях обращаю внимание — сейчас, когда мы в бизнесе решаем задачи машинного обучения, мы идем в продакшн-систему, преодолевая организационно-технические бюрократические трудности, берем себе датасет, с этим датасетом идем в питончик, где мы строим модельки, построили модель — померили качество в офлайне, потом начинается большая головная боль по внедрению этой модели в онлайн. Вопрос: зачем все эти мучения с перетаскиванием данных из продакшн в тестовую систему и обратно? Все должно идти в продакшне — построение новых моделей, экспериментирование с моделями, AB-тестирование. Аналитик данных должен сидеть в живой системе в продакшне и иметь абсолютно безопасную среду для экспериментирования с новыми моделями. То, что это можно придумать — это несомненно. Все модели машинного обучения, включая нейронные сети, могут быть инкреметными, они могут либо работать в таком режиме, либо работать в режиме AB-тестирования. То есть, этот бесконечный перенос данных в свою удобную среду в Питончике, на свою машинку — должно уйти, канет в лету лет через 5, я думаю, точно. То есть, будут сидеть дата-аналитики в живых продакшн-системах строить модели на лету. Это первая вещь. А вторая вещь — это потоки мультмодальных данных, когда, допусти, какой-то производственный процесс, какой-то сложный агрегат, который должен функционировать в реальном режиме времени принимать решения — те же беспилотники — просто как первый шаг. Мне, кстати, очень понравился пример, такое живое сравнение, которое привел мой учитель, академик, Рудаков Константин Владимирович, на последней нашей конференции, что мы говорим про беспилотники, но подумайте, что те интеллектуальные системы, которые там работают по своей функциональной мощи еще не дотягивают до нервной системы комара. Что делает комар? Он летает, не сталкивается с предметами или другими комарами, он находит еду, он вот такие вещи делает, которые еще никакая нейронная сеть не научилась. Я не биолог, но вроде бы у комара нервная система — не Бог весть что. Наши искусственные интеллекты вроде бы по количеству параметров мощнее, но делать то же, что и комар — они не могут все еще, еще настолько несовершенны. Великолепный пример, который показывает, что есть к чему стремиться. Обучение в потоке данных, я считаю, должно быть магистральным направлением, и второе — это мультимодальные потоки данных, то есть, когда одновременно это и видеопоток, это еще какие-то сенсорные данные, и примерно так мы должны будем управлять беспилотниками, и примерно так производствами, на которых мало людей. То, что мы идем в автоматизированное будущее, что мы освобождаем время людей и от физического тяжелого труда, но и даже от интеллектуальных, но рутинных операций. Это факт, мы туда идем.
Константин Воронцов: Вот следующий шаг — это подпустить ученых к этим динамическим потокам, но то, что я говорю — это кошмар службы информационной безопасности. Либо учеными становятся те люди, которые работают в этих компаниях, и я обеими руками за этот процесс — очень классно. Зачем мы вообще выстраиваем систему образования? Чтобы инженер работал как ученый, чтоб он такую же исследовательскую работу проделывал. Ради чего? Ради построения тех самых автоматизированных технологий будущего. То есть, ученый тогда он работает не в НИИ своем, а на живом производстве, где он сидит за мониторами, в которых льются реальные данные, и при этом он строит модели. В реальном режиме времени формулы пишет, придумывает, творит, делает AB-тестирование, и все это на живых алгоритмах, которые работают с живым потоком данных. При этом кошмар службы информационной безопасности заканчивается на том, что мы делаем безопасные системы, которые позволяют на потоке данных делать те эксперименты. То есть, алгоритм, который прошел все эти самые AB-тестирования и доказал свою надежность длительным экспериментом — щелк рубильником — и этот алгоритм пошел обрабатывать реальные данные в реальном производственном процессе. Появился лучше алгоритм, пронаблюдали мы его долгое время, протестировали всяко разно — щелк рубильником — значит, у нас производство чуть улучшилось в этот момент, но пока алгоритм не доказал свою продуктивность для бизнеса и производства — он работает в экспериментальном режиме, он видит поток данных, он что-то вычисляет, его тут же оценивают, за ним следят. И вот этот самый аналитик, который на самом деле крутой ученый, он работает вот в такой живой системе и занимается тем, что создает вот эти алгоритмы на своем рабочем месте. Но это уже не рабочий, а это высококвалифицированный аналитик данных, который при этом понимает производство. То есть, у него в голове предметная экспертиза, и у него в голове экспертиза по анализу данных. Это то, во что должен превратиться обычный рабочий на производстве ну лет через 15, в ученого, и это хорошо. И это правильно, на мой взгляд. Все будем учеными когда-нибудь, а рутинные операции будут делать роботы.
«Мы роем себе могилу»: часть о том, что AGI не нужен
26:14 Даниил Скоринкин: Можно такой немножко наивный вопрос, который кажется просится на язык, после того, как мы услышали про это триумфальное шествие нейронных сетей и нейросетевых алгоритмов. Приведет ли вот эта локальная победа к какой-то общей глобальной победе, когда у нас появятся человекоподобный искусственный интеллект общего назначения. Видите ли вы потенциал нейросетевых методов в создании чего-то похожего на искусственный интеллект?
Константин Воронцов: Ну, здесь две стороны медали: первая — что, несомненно, на наших глазах произошло становления развития технологий, которые будут очень полезны для —решения огромной кучи задач. С другой стороны, область искусственного интеллекта, она, на мой взгляд, необоснованно романтизирована и поэтизирована, и то, что говорится часто уже находится за пределами технологий — где-то в разделе футурологии, наших фантазий, и вот от этого хочется отмежеваться.
Анатолий Старостин: Существует ли постановка задачи, которую можно назвать artificial general intelligence? Каким должно быть вот это нечто, чтобы мы его назвали общим искусственным интеллектом? Что ты думаешь про общий искусственный интеллект?
Константин Воронцов: Ну, видимо, пора раскрывать карты, вы меня все-таки подбили на эту тему: я считаю, что он вообще не нужен, я приверженец радикальной точки зрения, которую вы, наверное, от меня не ждете, потому что как бы я пришел к вам как специалист по искусственному интеллекту — сейчас кажется очевидным, что я должен топить за него, и вдруг я топлю против. Но, тем не менее, я сейчас готов об этом поговорить и подоказывать, что общий искусственный интеллект — не только мы не знаем, что это такое, но он не нужен, вреден, и вообще не надо идти в эту сторону, и что это завиральная идея людей, которые действительно философы, фантасты, футурологи. Им так показалось, но это все на уровне писательства, но на уровне технологий работает и будет работать то, что мы называем слабым или функциональным искусственным интеллектом. Там — технологии, там реально решаемые задачи, а вот создание general AI, на мой взгляд, это обман, и все, что выдается за шаги в направлении general AI — на самом деле, если это реально не фейк, если это реально какое-то продвижение в науке и в технологии, то это просто следующий очень хороший шаг в функциональном искусственном интеллекте. Решили новую сложную задачу — прекрасно, молодцы. Но идем ли мы при этом к созданию чего-то, что мы назовем заменой человеческого интеллекта — это бред, на мой взгляд. Когда мы говорим AGI — как мы его определяем? Смысл в том, что искусственный интеллект должен решать те интеллектуальные задачи, которые умеет решать человек. Мы сейчас будем рассуждать.
Анатолий Старостин: Да, мы для того и собрались.
Константин Воронцов: Это даже не философия, а это логические рассуждения, которые через 5-10 минут приведут нас к доказательству невозможности и бессмысленности общего искусственного интеллекта. Начнем?
Анатолий Старостин:: Давайте.
Константин Воронцов: Итак, первое. Что такое общий искусственный интеллект — тот, который способен выполнять интеллектуальные задачи, которые выполняет человек. Теперь же зададимся вопросом — а почему люди умеют выполнять эти интеллектуальные задачи? Ответ: за счет того, что человек с детства обучает свою нейронную сеть, состоящую из 86 примерно миллиардов нейронов, сколько параметров в этой сети?—умножаем примерно на 10 тысяч, мы еще очень далеко от этой цифры в искусственном интеллекте. Значит, вот эта вот огромная вычислительная машина начинает обучаться в первые годы жизни человека. За счет чего? За счет того, что у нас есть 5 органов чувств. Это непрерывный поток разнородной информации, в которой идет визуальный сигнал, аудио, осязание, обоняние и тд. — все это валится на бедный мозг, плюс социализация — папа, мама, игрушки, общение с людьми и тд. Вот эта вот вычислительная машинка начинает обучаться благодаря тому, что эти данные, разнородные и сложноструктурированные, валятся одним большим потоком в этот самый мозг. Теперь вопрос: у нас есть соизмеримая вычислительная мощность (а у нас ее пока нет — Реймонд Курцвейл обещает ее нам где-то к середине 21 века), и второе — мы научились обрабатывать вот эту всю разнородную информацию, включая нахождение в социуме — что самое важное в этом. Теперь вопрос: что такое general I, если следовать тому определению, которое я дал? Это штука, которая должна обучаться в процессе, когда непрерывно льется информация хотя бы по тем 5 каналам, которые получает человек — это необходимое условие обучения. Это раз. Второе необходимое условие — это вычислительная мощность. В том числе эта штука должна быть социализирована, то есть она должна обучаться в человеческом обществе. Что мы получим на выходе? Вот, допустим, у нас есть искусственный интеллект, вот для того, чтобы он смог воспроизводить все интеллектуальные функции человека — он должен быть такой же вычислительной мощности и обучаться по тем же самым данным. Теперь представьте себе: как обеспечить ему этот поток данных? Теперь представьте себе, что этот агрегат живет в человеческом социуме на правах человека. Вам страшно, нет? Теперь представьте себе, что это будет не просто вычислительная мощность, которая будет соизмерима с мозгом человека, это будет штуковина, которая, помимо 5 органов человека, уже точно будет иметь прямой доступ в Интернет, и эта штука, которая точно будет в миллионы раз мощнее человека, потому что она будет точно все помнить — наш с вами мозг ничего точно не помнит, он очень несовершенен в этом смысле — вспомните, сколько раз за день вы забывали нужное вам дело. Она будет вычислять и строить модели мгновенно, с огромной скоростью, и теперь представьте себе, что этого монстра вы помещаете в человеческий социум и начинаете тренировать его наравне с человеком. Оно нам надо? Мы роем тем самым себе могилу! И вопрос: нужно ли нам создавать такой искусственный интеллект? Я считаю, что нет.
Даниил Скоринкин: То есть, это вопрос самосохранения?
Константин Воронцов: Это абсолютно вопрос самосохранения, я попытался сейчас доказать, что если мы за аксиому возьмем вот то определение искусственного интеллекта, которое вы прочитаете в Википедии, то мы несколькими шагами логических рассуждений дойдем до того, что это потенциально опасная технология, которую человечество уже взяло сделать себе на погибель. Оно нам надо? Теперь вопрос — а что нам на самом деле надо? Надо ли ли создавать general I? Я считаю, что нет. Здесь есть некий обман — манипулирование общественным мнением, это штука понятная, и то, что человечество может впадать в обман — это тоже штука понятная, но давайте не забывать наших целей. Вопрос — остановились и подумали — кто мы и зачем мы? Что мы делаем? Независимо от того, как каждый из нас индивидуально решил вопрос о смысле жизни, независимо от нашего образовательного и прочего бэкграунда, независимо от нашего вероисповедания — можно примирить их всех одним простым утверждением — ради чего мы все собрались на этой земле? Что мы делаем?
Даниил Скоринкин: Кажется, у Стругацких есть ответ, что конечная цель разума — преобразование природы.
Константин Воронцов: Отлично, у меня ответ еще проще. Мы строим человеческую цивилизацию — точка. Это то, что примиряет нас всех таких разных. То есть, не возникает уже противоречий между индуистом, христианином, атеистом и прочими людьми. Все согласятся то, что мы строим человеческую цивилизацию. Исходя из этого какие системы ценностей у нас должны быть? Первое — цивилизационные ценности. Второе — гуманистические ценности, просто как следствие того, что мы решили , что строим человеческую цивилизацию. Ключевое слово — человеческую. Зачем нам машины пускать в этот процесс наравне с нами? К чему это приведет? Эти машины они уже сейчас гораздо более совершенно. Представьте, вы искусственным интеллектом наделили некоторый агрегат, который имеет реактивные двигатели ракеты или самолета, мощность карьерного самосвала и еще вычислительную мощность и петабайты памяти (мы же говорим о том, что будет через 20 лет) и скорость, с которой он строит сложные модели чего угодно, мгновенно их вычисляет и быстрее, чем любой человек. Эта штуковина по всем параметрам мощнее. И еще мы ее разумом хотим наделить, чтоб она обучилась в социуме нашем, наравне с нами существовала. Что это будет? Мы с вами сегодня договаривались не говорить о страшилках, но к этому свелось.
О задаче построения персонального помощника: это == сильный ИИ или нет?
36:03 Анатолий Старостин: Я попробую спустить нас с неба на землю. Я предлагаю немного поговорить про персональных помощников. Это более простая вещь. Эта идея появилась давно — что вот, человек такой весь несовершенный, а компьютеры ему помогают, и вообще компьютеры возникали изначально как помощники. Первый калькулятор помогал человеку считать. Компьютер всегда нам помогает, это бесспорно. И дальше есть уже конкретная проблема — компьютер, он туповат, он не может тебя понять по-настоящему, не может понять, что в твоей жизни происходит и как. Он не может понять твое окружение, ту предметную область, в которой ты живешь. И этот мостик между людьми и компьютерами — это программист. И вся IT-индустрия направлена на то, чтобы этот мост строить. Чтобы мы могли как-то компьютеру что-то сказать, и компьютер нас понял. Программисты могут сказать компьютеру сложные вещи. Я могу сесть, написать сложный скрипт, который сделает сложные процедуры в моем компьютере, а человек, не программирующий может только сказать: «Алиса, какая завтра погода?». И на этом уровне Алиса его поймет и скажет ему, что погода такая-то. Потому что до этого программисты построили вот этот мостик, сценарий погоды. Соответственно, вот в этом месте я вижу точку росту. И когда я стал приводить этот пример с играми — я не делал акцент на играх — я делал акцент на том, что хочется иметь программу, которой можно на естественном языке объяснять свою предметную область, и чтоб она тебя хорошо и быстро понимала, эту область можно назвать областью программирования на естественном языке. И чтобы появлялся робот, который может легко понимать, чего тебе от него нужно. И у меня есть такое ощущение, что современное развитие deep learning к этой цели движется крайне медленно, там так задачи не ставятся, так ли это или не так?
Константин Воронцов: Начнем с того, что непонятно, что такое — понимать, что такое — чтобы программа тебя понимала. Поставь задачу.
Анатолий Старостин: Вот смотри, вот сидит Даня — будет нашим персональным помощником сейчас на одну секунду. Я скажу: «Даня, у меня есть в папке 10 файлов word-овых, в них точно есть опечатки, ошибок, еще они отформатированы не так, не мог бы ты все это поправить?». Я ему скажу все это словами, быстро, он возьмет и сделает, причем там будет еще кусочек нечеткий. Я ему скажу: «Вот знаешь я люблю эти готические шрифты, добавь немножко от себя». И Даня возьмет и сделает.
Даниил Скоринкин: Маршрут перестроен, развернитесь.
Анатолий Старостин: Вот. А произойдет вот это, на самом деле, вот о чем речь. Я пытаюсь навести тебя на разговор об этой стороне интеллектуальности. Интеллектуальность — это логика, способность понимать мир вокруг себя и как-то его концептуализировать. У меня такое ощущение, что эта сторона жизни компьютерных систем очень сильно в каком-то затоне.
Константин Воронцов: Нет, мне кажется, наоборот, что это генеральное направление развития, сделать автоматического секретаря — это, во-первых, все давно мечтают, и, по-моему, по кусочкам эта технология потихонечку выстраивается. Как этот фильм назывался. «Она», по-моему.
Анатолий Старостин: Фильм «Она» или Джарвис в Ironman, то же самое. Это много где показано.
Константин Воронцов: Это не заоблачная какая-то даль. Мне кажется, что автоматический секретарь, который видит все наши контакты, все наши файлы и может понимать «слушай составь мне договор на покупку 10 ноутбуков, как полгода назад» — уже есть средства, которые такие запросы в юридической сфере выполняют. Я просто знаю людей лично, которые этим занимаются.
Анатолий Старостин: Я тоже знаю их лично. И каждый раз, когда я смотрю на то, чем эти люди занимаются, я думаю: «О, очередная узкая постановка задачи». Опять датасеты с кучей документов, небольшой фрагмент какой-то антологии и надо извлекать из документов =эту антологию. Окей, опять нейронки, а тут даже нейронки не понадобились — тут обычные регулярки сработали. И вот когда же это все начнет как-то обобщаться.
Константин Воронцов: Так постепенно, мы идем в правильном направлении. Для того, чтобы сделать электронного помощника-секретаря не надо создавать General AI, а надо просто экстенсивно решать все вспомогательные задачи, которые появляются по ходу дела, то есть всегда вопрос один и тот же: на каких данных будет обучаться этот искусственный интеллект. GPT3 обучили совсем недавно, 570 гигабайт текстов — вот это хороший объем данных, на которых можно обучать подобного рода вещь. И что это должны быть за данные? Это должны быть протоколы того, как человек коммуницирует на своем рабочем месте в своем компьютере. То есть, вот он получил mail, вот он ответил в Телеграме, вот он собрал совещание. Вот эта индивидуальная деятельность человека, если за ней пронаблюдать достаточное количество времени — сколько человек на этом компьютере работает — 5-6 лет? Отлично, обучимся по всей истории, а сколько таких людей у нас? 100 миллионов, нет, миллиард. Отлично.
Анатолий Старостин: Правда в это веришь, что вот так будет происходить?
Константин Воронцов: Ну может быть, не совсем так, но мы точно к этому идем и то, что секретарь, который был в том же самом фильме «Она» в виде некой операционки выведен, то, что это очень полезная штука, которая автоматизирует офисную деятельность и позволит действительно каждому иметь своего персонального помощника-секретаря — это очень здорово, и это будет. Вообще предназначение искусственного интеллекта — это автоматизация, выполнение рутинной работы. Человеку надо оставить время на творчество, человек должен творить, должен заниматься смыслами, придумывать цели, идеи и видение, а исполнение рутинных работ должно быть автоматизировано. Вот это то светлое будущее, которое я вижу за искусственным интеллектом — создание некоего заменителя человека и то, чего называем общий искусственный интеллект, на мой взгляд — это темное мрачное будущее, оно выглядит страшновато.
О сборе мультимодальных данных и постепенной генерализации прикладного ИИ через расширение автоматизируемых функций
44:45 Анатолий Старостин: Я с тобой в этом месте уже даже согласился и более того — я считаю, что вопрос терминологический. Мне кажется, что я на текущем витке развития человечества вполне готов называть вот этого вот секретаря общим искусственным интеллектом, только если он будет настоящим, если он действительно будет понимать новые задачи, которые я ему на ходу объясняю. И вот ровно об этом хочется чуть-чуть больше говорить, и я все-таки докопаюсь сейчас до сути. Насчет этого большого датасета. Как мне кажется, такой датасет совершенно невозможно собрать. Такой датасет, в котором будет представлена вся деятельность, которая приходит людям в голову в виде текстов и главное — в виде действий. Тут же невозможно сделать чисто текстовый датасет, в этом же главная проблема GPT3, как мне кажется и таких вот вещей, всех этих текущих языковых моделей, которые просто на огромном массиве текстов учатся, в том, что нет второй стороны, они не видят объективную реальность, которая соответствует этим текстам, поэтому они в этих текстах находят сложнейшие статистические закономерности, которые уже иногда поражают просто, но все равно не возникает глубокого понимания. С этим ты согласен?
Константин Воронцов: Да, конечно. И разумность этого «искусственного» интеллекта она, конечно, будет целиком определяться тем, насколько содержательный датасет ему подсунут на входе для обучения, то есть, что подсунем — такой generalization и будет на выходе. Здесь не вопрос о том, какие данные надо собрать, чтобы получить искусственный заменитель интеллекта, вопрос противоположный надо ставить — какие данные у нас есть, на которых какие функции мы надеемся автоматизировать. Вот эта самая автоматизированная секретарша. Я иду по улице где-то, мне в наушник свалилось — тадам — пришел договор от клиента. Я говорю системе — о чем договор? Она говорит — договор на поставку. Я говорю: «Окей, хорошо, похожий договор у нас был полгода назад с теми-то, пожалуйста, составь ответ и отправь моим контрагентам и моего начальника в копию поставь». Я это сказал за полминуты, пока шел по улице. И вот это — вполне выполнимая вещь. Что невыполнимая? Пришел договор. Я говорю: «Нет, мне это не нравится, ну-ка, роди мне новую бизнес-идею». Все, это кранты, этого не будет. И хотелось, чтобы этого не было никогда. Не надо у человека отнимать человеческое. Наша функция — творческая. Это мы придумываем идеи бизнесов, это мы придумываем вообще цели — кто мы и зачем мы, что мы хотим делать в этом мире.Не надо у нас этого отнимать. Не надо даже пытаться, а вот автоматизировать рутину — да, конечно, надо, чтобы у человека было время и знания, чтобы придумать новую идею. А вот ответить на то, что «пошли в ответ этот договор моим партнерам» — вот это вполне можно сделать автоматически. Да, там куча вот того, что мы называем сегодня функциональным искусственным интеллектом — надо распознать и синтезировать голос, надо понять, как вообще отвечать на письма такого рода, для этого надо обучиться по большой базе данных писем, обучить на базе данных переписки компании, в которой ты сейчас работаешь, то есть, там огромное количество задач, которые на сегодняшний уровень технологий вполне решаемы. Можно уволить кучу секретарш за счет этого — пусть идут переучиваются делать более творческую работу. Пусть они будут секретарями-референтами, которые подсказывают своим боссам идеи для бизнеса. От этого все только выигрывают, а вот бумажки с места на место перекладывать — это пусть система делает.
Анатолий Старостин: Я правильно тебя понял, что тебе кажется, что для создания такого автоматического секретаря широкого профиля у нас уже все есть — надо просто увеличивать датасеты и решать много отдельных задач и после этого склеивать их пластырем?
Константин Воронцов: Ну в общем, да. Такой экстенсивный эволюционный путь развития, на котором очень много интересных исследований предстоит сделать, и это не просто расширение датасетов, а работа с мультимодальными данными, это обеспечение полноты данных. Мы здесь можем натолкнуться на проблемы экономической нецелесообразности, то есть почему мы в космос не летаем? Дорого очень, энергетически слишком затратно. Обложить все вообще производство с тем, чтобы эта информация лилась — может быть, это окажется просто нерентабельным, это надо просто посчитать.
О Франсуа Шолле и сложных бенчмарках
48:10 Анатолий Старостин: Как ты относишься к сложным постановкам задач в искусственном интеллекте. Проще на примере: Франсуа Шолле выпустил статью «Measure of intelligence», в ней он представляет другой вид бенчмарков в искусственном интеллекте. Он как бы говорит о том, что мы неправильно измеряем интеллектуальность и что ее как систему нужно мерить по-другому, что у нас слишком простые датасеты. Что ты про это думаешь?
Константин Воронцов: Статья, на самом деле, философская, на мой взгляд, и не вполне научная. Вообще западная культура слишком аналитическая и слишком увлечена четкими дефинициями. Статья, на самом деле, направлена на такой схоластический вопрос — как нам определить, что такое искусственный интеллект и что такое общий искусственный интеллект и как нам померить его качество. Мне в этой статье не понравилось, и я даже хочу намеренно потроллить немножко. Статья задает вопрос — что такое искусственный интеллект. Да не имеет значения. Вообще, это терминологический спор. Просто перестаньте себя мучить этим вопросом. Второе — как сравнивать искусственный интеллект с естественным интеллектом человека. Ответ: не надо их сравнивать, забудьте. Это вопросы про слова. Способ говорить — это еще не способ решать задачи, а мы увлекаемся очень тем, как определить наш способ говорить. Да фигня, нужно решать задачи. Шолле предлагает измерять искусственный интеллект не достигаемым результатом, а тем, насколько эффектно приобретаются навыки. Окей, хорошая задача. Только что такое навыки нам так же трудно определить как и то, что такое интеллект. Он все время сводит один схоластический вопрос к другому.
Анатолий Старостин: Я просто хотел бы, чтоб это в головах наших слушателей соединилось с разговором про динамичные датасеты. Мне кажется, это две очень важные вещи. Интеллектуальность систем, кажется, в будущем надо проверять на более сложных датасетах, не факт, что на таких, которые предлагает Франсуа Шолле, возможно, они должны быть другие. Но мне кажется очень важно, чтобы они были живые и изменчивые.
Константин Воронцов: Я считаю, что здесь просто не с того конца задача ставится. Надо решать конкретные задачи автоматизации. Что такое постановка задачи — дано, найти, критерий. То есть, какие у нас есть данные реально? Что мы можем реально физически измерить или могли бы лет через 5? Больше датчиков построим — ну хорошо, давайте такую задачу тоже решать. Второе — найти. Что мы хотим предсказывать — должны четко очень договориться. И критерий — когда у нас конкретная бизнес-постановка, критерий обычно естественный. Когда мы говорим об абстрактной задаче — как нам померить качество общего искусственного интеллекта — это не конкретная постановка задачи. Всякая попытка ее конкретизировать — натягивание совы на глобус, потому что давайте мы сейчас философскую задачу попытаемся конкретизировать. Любая конкретизация должна быть для чего-то. Если она для автоматизации какого-то бизнес-процесса, так давайте пойдем туда и спросим у правильных людей, какие KPI?
Анатолий Старостин: Ну, он как раз про это же и говорит, что есть какие-то вещи, что человек, условно говоря, проходит (не факт, что он говорит это, но я его так понял) тесты на IQ, человек умеет проходить тесты на IQ.
Константин Воронцов: Сами по себе тесты по IQ — бессмысленны, они никому ничего не дают, и это просто развлекуха.
Анатолий Старостин: Но они характеризуют, мы умеем видеть паттерны, мы умеем видеть какие-то тенденции, и нам надо очень мало примеров.
Константин Воронцов: Да не надо нам мало примеров, нам надо с детства учиться быть адекватными людьми, воспринимать поток данных из 5 органов чувств и еще учиться жить в социуме. Это нам кажется, что мы не обучались, но мы прошли фантастический объем обучения и натренировали свою фантастическую нейронную сеть, по числу параметров мы дойдем до этого к 50-60-м гг. То есть, не надо думать, что то, что нам кажется привычным и простым — на самом деле, просто, это очень сложно, это на самом деле система, которая прошла очень сложное мультимодальное обучение в первые годы жизни.
Анатолий Старостин: В этом смысле, верно ли, что тот эффект, который пронаблюдали ученые из Open AI в GPT3, то, что сеть с на порядок большим количеством параметров дальше оказывается быстрее обучаемой, по сути дела, это few short learning так называемый, он в GPT3 работает гораздо лучше, чем в GPT2. Это проявление вот этого самого эффекта?
Образовательная вставка
Few shot Learning — практика создания эффективных моделей машинного обучения | на малом количестве примеров. Например, вам нужно определять вид птицы по снимку, но все ваши птицы редкие — и для каждой есть лишь 1-2 фотографии.Эта техника используется в задачах компьютерного зрения (например, при построении приложения для классификации редких видов растений и животных), а также для обработки естественного языка (например, работая с малоресурсными языками или редкими текстовыми данными)
Константин Воронцов: Это проявление того, что у нас был длительный процесс обучения по очень большим данным, сеть прочитала все, что вообще бывает в текстах естественного языка, и теперь конкретные специализированные задачи может решать, обучаясь на небольших выборках. Это благодаря тому, что она предобучена по гигантской выборке.
Анатолий Старостин: Я имею в виду, что тот эффект, что мы, люди, обучившись за n-лет потом берём тест на IQ и проходим его довольно…
Константин Воронцов: Это благодаря вот этому гигантскому обучению.
Анатолий Старостин: Это эффект похожий на то, как GPT3, впитав в себя кучу данных, потом начинает складывать двузначные числа?
Константин Воронцов: Эффект похожий, но размер этого эффекта отличается на 4-5 порядков.
Анатолий Старостин: Да, я к этому и веду, то есть, мне тоже кажется, что это похожий эффект.
Константин Воронцов:: Да.
Анатолий Старостин: Отлично, я просто хотел, чтобы это мнение тоже было услышано, я его тоже разделяю. Мне кажется, что на самом деле статья про GPT3 демонстрирует очень интересный эффект, который в будущем, видимо, мы будем видеть на более сложный сетях, и он нас будет ещё больше поражать.
Интерпретируемость нейросетей и переход от феноменологии к теории
54:36 Даниил Скоринкин: Вы когда с нами общались довольно много обращались к гуманистическому пафосу, что человеку интересно делать одно и не интересно делать другое, и надо как бы к этому быть внимательным. Но мне кажется, что человеку еще очень интересно понимать что-то, и вообще ну есть, мне кажется, некоторое фундаментальное желание что-то понимать. И когда мы с вами говорили, что строим экспертные системы на онтологиях и тд., мы как бы делаем что-то не очень —естественное, да, но мне кажется, что это неестественно для какого-то обычного человека, но это очень естественно для ученого — строить сложные модели, которые объясняют, или нам позволяет быстро понять какую-то штуку, да, нарисовав какую-нибудь схематическую модель. Соответственно, мне кажется, что некоторое желание Толи или мое видеть, что есть не только deep learning, и что не только побеждает он, но в каких-то случаях есть онтологии экспертных систем, но, может быть, подсознательно оно продиктовано не желанием решить инженерную задачу, а скорее — желанием иметь системы, которые более интепретируемы, потому что нам немного страшно иметь системы, которые не совсем интепретируемы, это опять возвращаюсь к вот этому экзистенциальному фактору, что искусственный интеллект неизвестно что от нас хочет. Кажется, что тут есть некоторое противоречие: с одной стороны, мы строим какие-то системы, говорим, что они очень естественно работают, а с другой стороны нам очень неестественно с ними жить, потому что они страшно непохожи на те модели, к которым мы привыкли в учебниках видеть, например, и они страшно непонятны для нас, нам очень трудно эксплицировать, что происходит внутри нейронной сети, особенно если мы не математики, не доктора физмат наук, то нам вообще страшно непонятно и кажется, что традиционные подходы они еще и более понятны, что ли, по своей внутренней структуре. Видите ли вы здесь некоторое противоречие или его нет, я его придумал?
Константин Воронцов: Ну здесь не столько противоречие, сколько характерная особенность текущего этапа развития, вообще понимание того, как устроен мир — одна из основных функций человека, мы для этого пришли в этот мир, и ученые — это как раз те люди, которые оценили в себе и желание, и потенциал эту миссию реализовывать. И это навсегда останется с человечеством, и может быть, этого будет все больше и больше. Мы сегодня не раз говорили, что в data science мы эту самую миссию реализуем через предметные области, через то, что мы в них разбираемся, мы понимаем те процессы, которые моделируем, и нам это интересно.
Даниил Скоринкин: Ну вот инженер, который сделал гугловскую нейросеть для машинного перевода, какой-нибудь там Bert или что у них там стоит — LSTM какие-нибудь. Он же не понимает, на самом деле, не то чтобы он хорошо понимает в лингвистике, в межкультурной коммуникации, в переводоведении, этого всего нет. Я этот вопрос хотел задать еще тогда, когда говорили про важность знания предметной области, так что тут тоже у меня противоречие с текущей практикой.
Константин Воронцов: Я не берусь судить этого инженера, на мой взгляд, он в любом случае очень достойный человек, он неимоверно крут, и я не уверен, что он совсем чужд от предметной области. Наверняка, как раз нет. И действительно, это текущий этап развития всей этой технологии, когда вдруг выяснилось, что большие данные и правильные архитектуры могут заменить огромный пласт тех знаний, которые мы добывали, структурировали, целые поколения исследователей над этим работали, как-то их укладывали, и потом вдруг оказалось, что эти структуры, которые мы напридумывали для того, чтобы объяснять себе эти знания, они уступают по качеству тем автоматически обучаемым структурам, которые были использованы для обучения по большим данным. Это момент, в общем, некий фейл в определенном смысле, мы этот момент переживем и переосмыслим, мы обязательно наделим эти искусственные нейронные сети возможостью давать интерпретируемые объяснения.
Константин Воронцов: Эта обученная система будет коммуницировать с людьми, с потребителями того, что эта система дает и какую дополнительную информацию она им должна сообщать. То есть, например, если меня интересует машинный перевод как пользователя — это окей, но если я лингвист и хочу из машины добыть знания и сказать: «Хм, а вот эта грамматическая конструкция что из себя представляет и насколько чаще она встречается какой-то альтернативной?». То есть, я уже как лингвист задаю вопросы профессиональные, то мне эта машинка тоже каким-то образом должна научиться давать объяснения, она не должна тупо выполнять за меня эту рутинную работу, хотя это само по себе хорошо. И человек, который не лингвист, он как пользователь этой системы — просто автоматизирует и ускоряет рутинную работу, ему не нужно идти в Бюро переводов, не нужно платить деньги переводчику. Это все здорово, но есть еще другой уровень пользования — люди, которые хотят понимать язык, почему там происходят те или иные явления или, например, под воздействием чего или каким образом язык меняется. И тогда я этому гугл-переводчику хочу задать вопрос «Когда возникло слово селфи в русском языке?» или еще что-то в этом духе — то есть, я хочу исследовать язык и сейчас эта технология мне никак в этом не помогает, просто потому что у нее есть интерфейс для конечного пользователя, для простого использования, а вот интерфейс для продвинутого использования — пока не создан, но это дело времени, все равно будет создан — куда ж мы денемся-то. Придут ученые и скажут «ха, а че это она у нас не интепретируемая сеть с сотней миллиардов параметров», а как ее наделить — а давайте она сейчас нам будет не только перевод давать тупо, а отвечать на такие-то вопросы, ее надо дообучить, потихонечку она начнет учиться не только решать 1-2-3 задачи, но еще и коммуницировать с людьми, в том числе со специалистами, в том числе с лингвистами.
Даниил Скоринкин: Так в этот момент она начинает себя осознавать фактически, да, если она начинает о себе говорить.
Константин Воронцов:: Ничего подобного. Она просто натренировалась не на 3 задачах, а на 30.
Даниил Скоринкин: : Мы же сейчас говорили про некоторую семиотику нейросети, когда она еще рассказывает нам, как она до этого дошла.
Константин Воронцов: Необязательно, это о том, как она генерирует нужное нам объяснение. Значит, про это тоже должна быть собрана обучающая выборка, то есть вот была такая-то ситуация, объяснение, которое нас бы удовлетворило в этой ситуации выглядит так-то. Собрали сотни тысяч таких прецедентов, дополнительно дотренировали сеть для того, чтобы она удовлетворяла еще и эту категорию пользователей, а потом еще одну и еще, но это 30 имитаций интеллекта в одной модели — это еще не общеискусственный интеллект, это просто 30 имитаций вместо 3 — она решает не 3 задачи, а 30, но это не качественный переход, это количественный переход.
Даниил Скоринкин: Мне очень нравится то, что вы говорите, но есть некоторое ощущение, не уверен, что смогу его аргументировать, но ощущение, что здесь есть некоторое упрощение и на самом деле это не просто следующий шаг, а переход от феноменологического подхода, о котором вы говорили, к некоторому более теоретическому. Вообще есть ощущение — да, мы сейчас занимаемся вот этой самой феноменологией — смотрим, как летает то, что летает, но дальше-то появляются люди, которые придумали аэродинамику, появился Жуковский со всеми его уравнениями и кажется, что должен произойти вот такой переход, чтоб нейросеть смогла еще и описывать…
Константин Воронцов: Ой, ну это другой отдельный вопрос — А появятся ли когда-нибудь адекватные математическая теория функционирования нейронных сетей, да еще со всеми этими сложностями архитектур, вложенностями архитектур, то, что есть какие-то блоки, которые сложным образом друг с другом взаимодействуют и как из них, из простых блоков строить более сложные, а потом из них еще более сложные.
Даниил Скоринкин: И желательно — с предсказательной силой теория.
Константин Воронцов: Да-да, я думаю, что когда-нибудь она возникнет. По крайней мере, в мире есть немало людей, которые в этом направлении думают. Просто это чудовищно сложная задача, тем она и интереснее. Только что над этим надо думать — это 100%.
Завершение:
Анатолий Старостин: Костя, спасибо тебе большое, что пришел сегодня…
Кончтантин Воронцов: Спасибо, что пригласили
Анатолий Старостин: Я хочу сказать, что это было очень интересно и продуктивно <..>
Это был очередной выпуск подкаста “Неопознанный Искусственный Интеллект”, с вами были его ведущий Анатолий Старостин…
Даниил Скоринкин: Даниил Скоринкин
Анатолий Старостин: И у нас в гостях был Константин Воронцов: Всем спасибо, пока!
Даниил Скоринкин: Пока!
