На первых этапах изучения разработки искусственных нейронных сетей, первым делом рассказывают об устройстве нейронных сетей человеческого мозга. Как и устройство мозга для нейробиологов, логика работы алгоритмов для разработчиков ИИ — «черный ящик» с нерешенными вопросами. Совместное исследование SISSA (Международная школа передовых исследований) и Технического Университета Мюнхена нацелено сделать прозрачными процессы работы ИИ.
Исследование представлено на ежегодной конференции NeurIPS в Ванкувере в декабре 2019 года. NeurIPS (Neural Information Processing Systems) — значимое событие в мире deep learning. Интерпретируемость моделей машинного обучения стала главным треком конференции — значительная часть статей освещала проблемы обеспечения прозрачности результатов работы алгоритмов.
Метод презентовал Алессио Ансуини, который отвечал за проведение экспериментов в SISSA. Изначально инструмент разрабатывали для другой научной области, но междисциплинарная работа специалистов трех направлений (физики, нейробиологии и машинного обучения) позволила использовать эти труды для изучения скрытых закономерностей при работе алгоритмов искусственного интеллекта.
В своей работе исследователи раскрывают вопрос измерения сложности информации в слоях глубоких нейронных сетей, которые используют для работы с изображениями. Идея заключается в сравнении подходов зрительной системы и искусственных нейронных сетей при распознавании изображений. Процесс представляет цепочку этапов, на которых происходит последовательный анализ содержимого.
Этот результат важен для SISSA, так как недавно они запустили исследовательскую программу, посвященную Data Science. Научное сообщество, помимо разработки новых алгоритмов, заинтересовано в получении инструмента, который позволит извлекать новые знания из непосредственной работы методов искусственного интеллекта.
