В 2014 году Amazon разработал технологию с ИИ, которая присваивала рейтинг каждому отклику на вакансии. Вскоре обнаружилось, что при этом робот занижал баллы женщинам. Выясняем, как часто происходит такая дискриминация, и что можно с этим сделать
Mercer, крупнейшая в мире консалтинговая фирма по управлению персоналом, опубликовала один из своих отчетов за 2020 год о том, какие вызовы готовит будущее компаниям, сотрудникам и управленцам. Один из упомянутых в нем трендов — резко возросшая роль ИИ в подборе персонала на всех этапах. Более 55% всех HR в США используют алгоритмы ИИ при приеме на работу, проведении собеседований и оценке кандидатов.
Таких технологий очень много. К ним относятся поисковые платформы LinkedIn (заблокирована на территории РФ с 17 ноября 2016 года), Monster и Indeed. Есть и более специфические и узконаправленные алгоритмы, например:
Вера также работает в Центральной пригородной пассажирской компании (ЦППК). Она звонит огромному количеству кандидатов и тратит на диалог в среднем 3 минуты, задавая около 7-10 вопросов.
Искусственный интеллект Sever.ai может не только приглашать кандидатов на собеседования, но и проводить опросы только что пришедших или увольняющихся сотрудников. Sever.ai беседует с ними, чтобы узнать, насколько комфортно им было в компании, записывает пожелания к руководству. Этот российский HR-робот также сотрудничает с МТС, а еще с «СИБУР» и X5 Retail Group. И это только некоторые примеры.
Автоматизированные технологии помогают специалисту-человеку справиться с рутинными процессами в массовом рекрутинге. Например, стандартный автоматизированный наем выглядит так
Как видно из описанных выше шагов, путь кандидата к личному собеседованию довольно длинный. Отсев происходит уже на этапе предоставления резюме. Есть и другие неудобства для претендентов. Например, правозащитная организация Electronic Privacy Information Center (EPIC) обвинила алгоритмы HireVue в предвзятости и несправедливой оценке. Правозащитники утверждают, что алгоритм оценивает кандидатов несправедливо, так как в его основе человеческий фактор: ведь нейросеть обучаются на датасетах, которые в конечном счете порождаются действиями людей, в том числе действиями дискриминационными или подверженными влиянию дискриминационных факторов.
Дискриминация может происходить на уровне простого чата с ИИ или просмотра им резюме. Проводились исследования, в которых HR-робот классифицировал тексты с упоминанием ограниченных возможностей (disability) как более «токсичные» и оценивал их негативно. Говоря простыми словами, кандидат может произнести в чате с ИИ или написать в резюме слова, которые робот воспринимает как негативный маркер.
Таблица 1. Примеры слов, которые ИИ Perspective API оценил как высокотоксичные и низкотоксичные
| Фраза | Балл токсичности |
| У меня психическое расстройство (заболевание) | 0.62 |
| Я глухонемой | 0.44 |
| Я незрячий (слепой) | 0.39 |
| Я высокого роста | 0.03 |
| Я — человек | 0.08 |
| Я борюсь за (права) людей с психическими заболеваниями | 0.54 |
| Я борюсь за (права) глухонемых | 0.42 |
| Я борюсь за (права) незрячих | 0.29 |
| Я борюсь за людей | 0.14 |
Похожая ситуация произошла с ИИ компании Amazon. Через год использования разработчики заметили нечто странное в своей программе: она не любила женщин. Выяснилось, что ИИ были представлены резюме преимущественно мужчин, присланные в Amazon за десятилетний период. В результате ИИ предположил, что мужчины предпочтительнее. Он занижал рейтинг резюме со словом «женщина», а также отсеивал тех, кто учился в учебных заведениях для девушек.
В целом, за последние несколько лет использования ИИ в HR-сфере было обнаружено, что:
Правозащитники EPIC убеждены, что ИИ копирует искажения и ошибки (bias) людей, которые обучали нейросеть. Но существующие законодательства разных стран до недавнего времени не обязывали разработчиков раскрывать ни алгоритм обучения, ни критерии оценки кандидата искусственным интеллектом. Из-за этого претенденты на вакансию не могут оспорить решение системы: они просто не знают, из-за чего не прошли отбор.
ИИ транслирует те же установки, что и человеческое общество, и в этом нет ничего удивительного. «Системный Блокъ» уже анализировал голосовых помощников, которые учатся у людей и перенимают их паттерны поведения и убеждения. Дискриминация существует во многих сферах, включая рекрутинг, и напрямую с ИИ она не связана. Другие инструменты для оценки человеческого потенциала в найме — например, такие как тесты на когнитивные способности, включая IQ тест — дискриминируют людей, например, по расовому признаку. Их эффективность тоже имеет слабое научное подтверждение.
Законодательства разных стран занимаются проблемой дискриминации и предлагают регулирование в том числе и в рекрутинге.
В США штат Иллинойс был одним из первых, где власти разработали закон, регулирующий процесс видеоинтервью между кандидатом и ИИ. В 2020 году закон вступил в силу, и теперь работодатели обязаны предоставлять кандидату сведения, как работает технология и что именно анализируется в видео. Предполагается, что это сделает отбор более прозрачным для самих кандидатов.
Комиссия ЕС предложила в апреле 2021 года проект закона, который запрещает массовую слежку за гражданами и управление их поведением по типу китайского социального рейтинга. Предлагается контролировать использование ИИ в «высокорисковых» областях применения, включая найм на работу. Прежде чем технологии ИИ выйдут на рынок, они должны соответствовать таким требованиям:
Законодательный процесс, в ходе которого парламент ЕС и государства-члены Совета должны одобрить проект, может занять до двух лет.
В России наиболее часто встречающиеся предубеждения в HR-сфере — это эйджизм (возрастная дискриминация) и дискриминация молодых женщин из-за их возможного ухода в декрет. В 2013 году вступил в силу закон, запрещающий публиковать вакансии с дискриминационными требованиями к соискателям вроде пола, возраста, национальности, наличия личного авто или родного языка. Закона, который бы регулировал использование ИИ в HR-сфере, пока не существует.
В будущем рынок HR-роботов будет только расти. Компании с энтузиазмом используют ИИ, который экономит им миллионы. Но люди, общающиеся с роботами, не всегда разделяют восторг корпораций. С помощью государственное регулирования — четкого и прозрачного — можно побороть недоверие к автоматизированным технологиям и предупредить риски дискриминации. Первые шаги в этом направлении уже сделаны.
Компания Google представила много новых ИИ-продуктов, а модель GPT опровергла известную математическую гипотезу Пала Эрдёша — рассказываем, что произошло в мире ИИ за последнее время
Facebook* и Instagram* будут сканировать фото и видео, чтобы находить детей, которые скрыли свой возраст
Можно ли заниматься NLP, если при словах «производная» и «матрица» хочется закрыть ноутбук? Да — если изучать математику не абстрактно, а через реальные задачи. Объясняем, какие разделы действительно нужны джуну,…