Слепнущие нейросети

31 октября на Международной конференции по компьютерному зрению в Сеуле (ICCV 2019) было представлено исследование «Что не может создать GAN (генеративно-состязательная сеть)». (Seeing What a GAN Cannot Generate)

Дэвид Бау, сотрудник Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института, вместе с коллегами исследовали характеристики данных, которые чаще игнорируются системой машинного обучения.

GAN и другие нейронные сети не только похоже обнаруживают шаблоны в данных, они также могут игнорировать схожие объекты. Бау и его коллеги обучали различные типы GAN на изображениях помещений внутри и снаружи. Но независимо от того, где были сделаны снимки, GAN постоянно опускала важные детали: людей, машины, вывески, фонтаны и предметы мебели, даже когда эти объекты заметно выделялись на изображении.

Исследователи давно знают, что GAN имеют склонность игнорировать некоторые статистически значимые детали, им легче генерировать здания и ландшафты, ​​упуская более трудные детали. Но это может быть первым исследованием, которое покажет, что современные GAN могут систематически опускать целые классы объектов в изображении.

А поскольку инженеры используют GAN при создании синтетических изображений для обучения автоматизированных систем, таких как беспилотные автомобили, существует опасность того, что люди, знаки и другая важная информация могут оказаться в «слепом пятне». Поэтому важно не только оценивать результат работы нейросети, но и понимать, как устроена сама модель.

Источник: Visualizing an AI model’s blind spots