Организации все чаще заменяют принятие решений людьми на алгоритмы, так как это дешевле и часто уменьшает количество ошибок (люди невнимательны, устают и теряют концентрацию, а машина — нет). А еще предполагается, что компьютерные программы не имеют человеческих предубеждений.
Однако алгоритмы, основанные на машинном обучении, отражают реальный мир, и это означает, что они могут непреднамеренно укоренить существующее неравенство (мы уже писали о том, как это уже происходит с неравенством полов в машинном переводе). Исследование, опубликованное в журнале Science, показало, что алгоритм прогнозирования рисков в здравоохранении, используемый более чем для 200 миллионов человек в США, демонстрирует расовую предвзятость, так как полагается на ошибочную метрику для определения медицинских нужд.
Алгоритм помогает больницам и страховым компаниям определять, каким пациентам наиболее важно предоставлять доступ к программам, обеспечивающих хронически больных людей специально обученным медицинским персоналом и дополнительным мониторингом со стороны врачей. Эти программы направлены на предотвращение серьезных осложнений, снижение затрат и повышение качества жизни. Для расчетов обычно используются предыдущие расходы пациентов на здравоохранение.
Однако исследователи обнаружили, что такой критерий не дает адекватной информации о тяжести состояния пациента: даже если белые и темнокожие пациенты тратили на медицину одинаковые средства, услуги, за которыми они обращались, были разные. Как правило, темнокожие пациенты платили за неотложную помощь при, например, осложнениях диабета или гипертонии. Белые же оплачивали менее экстренные медицинские услуги — просто потому, что могли себе это позволить. В исследовании рассматривались медицинские карты почти 50 000 пациентов, из которых около шести тысяч идентифицировали себя как небелые, и проводилось сравнение алгоритмической оценки здоровья и фактической историей болезни. Оказалось, что темнокожие пациенты, как правило, получают более низкие оценки рисков для здоровья, так как их расходы на здравоохранение были сопоставимы с затратами более здоровых белых людей.
Исследователи предположили несколько причин, вызвавших эту проблему. С одной стороны, раса и доход коррелируют: существующая статистика однозначно указывает, что у цветных людей с большей вероятностью будут более низкие доходы. Это приводит к ограничению доступности медицинской помощи. Неявные расовые предубеждения врачей также способствует неравенству в сфере здравоохранения, из-за чего чернокожие пациенты меньше доверяют врачам и реже обращаются за помощью. Исследователи подчеркивают, что сама их работа основана на данных, содержащих предвзятость, так как количество медицинских карт белых пациентов превосходило число карт чернокожих пациентов примерно в семь раз.
Осведомленность о возможных отклонениях — как в самих данных, которые использует алгоритм, так и исторически сложившейся предвзятости при их интерпретации — важна для разработчиков и пользователей искусственного интеллекта. Для решения таких проблем нужно создавать алгоритмы, которые смогут преодолеть культурные и социальные предрассудки.
Источник: Racial Bias Found in a Major Health Care Risk Algorithm
