Согласно новому исследованию, алгоритм здравоохранения, используемый в больницах в США, дискриминирует чернокожих пациентов. Исследование показало, что алгоритм последовательно определяет приоритеты менее больных белых пациентов и исключает чернокожих пациентов из программы, предназначенной для помощи людям, которые нуждаются в более интенсивной терапии.
Прогнозирующие алгоритмы нашли свое отражение во многих сферах жизни общества, включая здравоохранение. Но многие исследования показали, что у искусственного интеллекта (ИИ) могут быть те же предубеждения, что и у их создателей, несмотря на то, что они созданы «нейтральными». Эти предубеждения существуют даже в медицине где систематическая расовая и гендерная дискриминация по отношению к пациентам остается обычным явлением.
«Это чрезвычайно важное исследование, которое показывает, почему мы не должны слепо доверять ИИ в решении наших самых насущных социальных и социальных проблем».
Однако, по мнению авторов новой статьи, исследователи редко имели возможность подробно изучить, как и почему предвзятость может проникнуть в эти алгоритмы. Многие алгоритмы являются запатентованными, то есть точные детали того, как они были запрограммированы, включая источники данных, использованных для их обучения, являются независимыми учеными.
Но все оказалось, как показало исследование, не так просто. Статья опубликована в четверг в журнале Science.
Авторы изучили данные алгоритма, разработанного компанией Optum, который широко используется в больницах и медицинских центрах, в том числе в больнице, где работали некоторые авторы.
Предполагалось, что ИИ определит, какие пациенты больше всего выиграют от доступа к программе управления здравоохранением высокого риска. Среди прочего, программа позволит этим пациентам иметь выделенный медицинский персонал в случае болезни и дополнительные места для посещения врача в амбулаторных условиях.
Но когда они сравнивали оценку риска, полученную с помощью ИИ, с другими показателями здоровья у своих реальных пациентов, такими как количество хронических заболеваний у пациента, темнокожие пациенты постоянно недооценивались. По оценкам ИИ, например, 18 процентов пациентов, которые заслуживают участия в этих программах, будут чернокожими;
но авторы статьи подсчитали, что реальное число чернокожих должно быть ближе к 47 процентам.
«Это чрезвычайно важное исследование, которое показывает, почему мы не должны слепо доверять ИИ в решении наших наиболее острых социальных и социальных проблем», — говорит Десмонд Паттон, специалист по данным из Школы социальной работы Колумбийского университета, который не связан с новым исследованием. сказал Gizmodo.
Процесс принятия решений AI был спроектирован таким образом, чтобы он был нейтральный. Однако, как выяснили авторы, другие предположения, с которыми он был запрограммирован, оказывали влияние на чернокожих. Ключевая переменная, которую он изучал, заключалась в том, сколько денег было потрачено на медицинское обслуживание пациентов до тех пор, а те, кто потратил больше всего денег, считались более нуждающимися в программе.
Но темнокожие пациенты не обращаются к врачу и не получают медицинской помощи так часто, как белые пациенты, часто потому, что они беднее. Это усугубляется тем фактом, что темнокожие пациенты, как правило, болеют к моменту посещения больницы, потому что их хронические проблемы со здоровьем остались без лечения.
«Смещение возникает из-за того, что алгоритм прогнозирует затраты на здравоохранение, а не болезни, но неравный доступ к уходу означает, что мы тратим меньше денег на уход за чернокожими, чем за белых», — пишут авторы.
Эти различия в медицине и в других местах не являются секретом. Но если ИИ не запрограммирован, чтобы отчитываться за них, или он не обучен множеству разных групп людей, то они игнорируются, считает Атул Бьютт, исследователь биомедицинской информатики в Университете Калифорнии в Сан-Франциско и главный специалист по данным для Система здравоохранения Калифорнийского университета.
«Аналогия, которую я использовал в прошлом, заключается в том, что вам или мне, вероятно, было бы неудобно садиться за руль, обученный только в Маунтин-Вью, штат Калифорния», — сказал Бизте, который не участвовал в новом исследовании, Gizmodo. «Таким образом, мы действительно должны с осторожностью относиться к медицинским алгоритмам, обучаемым только небольшим населением или только одной расой или этнической группой.«
По словам Джесси Тененбаум, доцента биостатистики и биоинформатики в Университете Дьюка, также не участвующей в новой работе, полученные данные показывают, почему для внешних ученых и компаний важно совместно работать над улучшением алгоритмов, как только они войдут в реальный мир.
«Я фанат использования ИИ, где это может быть полезно, но будет невозможно предвидеть все способы, которыми эти предубеждения могут закрасться и повлиять на результаты », — сказала она. «В таком случае важно подумать о том, как предвзятые данные могут повлиять на данное приложение, чтобы проверить результаты на предмет такого смещения, и как можно больше использовать методы ИИ, которые обеспечивают объяснимость — понимание, почему алгоритм пришел к выводу, что сделал ».
Регулирующие агентства, такие как Управление по контролю за продуктами и лекарствами, также должны активно проводить более эффективную подготовку этих алгоритмов и требовать прозрачного обмена данными от компаний, которые их производят, сказал Бьютт.
