Предлагаем вашему вниманию сокращённый перевод статьи «What happens when machines break the law», опубликованной Federal Computer Week.
Правительственные учреждения, частные компании и финансовые организации все чаще используют алгоритмы (здесь и далее FCW использует термин «алгоритм», однако из контекста ясно, что речь идёт о нейросетях, которые алгоритмическими системами не являются – ред.) для автоматизации как простых, так и сложных процессов. Но что происходит, когда алгоритм нарушает закон, а люди, запускающие программу, не знают об этом?
Этот вопрос становится всё более актуальным, поскольку организации всё больше полагаются на алгоритмы – для торговли акциями, целевой рекламы, принятия решений по кредитам и пр., не всегда при этом понимая, как алгоритм принимает решения.
Николь Тёрнер-Ли (Nicol Turner-Lee), сотрудник Центра технологических инноваций Брукингского института, в выступлении на слушаниях комитета по финансовым услугам Палаты представителей США 26 июня 2019 отметила, что «взрыв данных» позволил разработать весьма сложные алгоритмы, которые позволяют делать самые разные выводы о людях – от их идентификации и определения «демографических атрибутов» до выяснения [потребительских] предпочтений и прогноза поведения.
Алгоритмы способны рассматривать людей и вещи как связанные объекты. Машины определяют подходящий человеку шаблон, затем прогнозируют поведение человека на основе этого шаблона, и именно здесь дефектные данные или несовершенные методы обучения [нейросетей] могут нарушить пределы дозволенного. Исследование, проведенное Университетом Беркли в прошлом году, показало, что онлайн-системы потребительского кредитования взимали с чернокожих и латиноамериканских заёмщиков за ипотечные кредиты и их рефинансирование больше, чем с белых.
«Мы наблюдаем, как людям отказывают в кредитовании из-за их «цифровых профилей», которые включают в себя истории просмотра веб-страниц, профили социальных сетей и другие сомнительные характеристики, учитываемые при принятии решения о выдаче кредита, – отметила Тернер-Ли. – Такие предубеждения являются систематическими, по меньшей мере, для отдельных лиц в конкретных группах [потребителей]».
Не обязательно виновны технологии. Исследование Университета Беркли действительно обнаружило, что в некоторых случаях финансовые технологии или финтех-алгоритмы «видят» меньше, чем люди, принимающие решения о кредитовании. Однако большинство экспертов сходится во мнении, что виновны в этом создатели алгоритмов. Вина их заключается в небрежности, с которой они вводят данные в систему без реального понимания того, как алгоритм будет обрабатывать и связывать эти данные с группами людей. При этом скорость и масштабы внедрения автоматизированных систем показывают, что они могут способствовать распространению дискриминационной практики, которая когда-то была локальной и ограничивалась определёнными географическими анклавами.
Организации, в конечном счете, несут юридическую ответственность за свою продукцию, включая алгоритмы. Например, многие сталкиваются с так называемой проблемой «чёрного ящика»: ситуацией, когда решения, принимаемые алгоритмом в результате машинного обучения, становятся с течением времени всё более непрозрачными для менеджеров-людей, поскольку алгоритм учитывает всё больше данных и делает всё более сложные выводы. Эта проблема заставила экспертов отстаивать «объяснимость» в качестве ключевого показателя для регуляторов при этической и правовой оценке использования алгоритмов. По существу, это является показателем того, что организация понимает, какую информацию использует её алгоритм, чтобы прийти к тем или иным выводам.
Закон «Об алгоритмической подотчётности» (Algorithmic Accountability Act), внесённый в апреле 2019 в Палату представителей США, даёт Федеральной торговой комиссии два года на разработку нормативных актов, обязывающих крупные компании проводить автоматизированные оценки влияния своих алгоритмов на систему принятия решений, и рассматривает дискриминацию в результате этих решений как недобросовестные или вводящие в заблуждение действия и практики, открывающие возможность для рассмотрения гражданских исков. В ходе оценки будут проанализированы данные о подготовке кадров с точки зрения их влияния на точность, предвзятость, дискриминацию, неприкосновенность частной жизни и безопасность.
Представляя законопроект, вносивший его сенатор обратился к опыту своих родителей, столкнувшихся с дискриминацией со стороны агентов по недвижимости в 1960-х годах, заявив, что алгоритмы могут привести к такой же несправедливости, но в гораздо больших масштабах и фактически бесконтрольно: «Дискриминацию, с которой моя семья столкнулась в 1969 году, значительно сложнее обнаружить в 2019 году: продаются дома, о которых вы не знаете, существуют возможности трудоустройства, о которых вам ничего не известно, предоставляется финансирование, о котором вы никогда не узнаете. И всё из-за предвзятых алгоритмов», – сказал он.
Законодатель считает, что организации в состоянии сделать больше, чтобы понять, насколько их автоматизированные системы могут быть устойчивы к незаконной или дискриминационной практике ещё на стадии проектирования, до их развертывания. Добровольные или обязательные сторонние аудиты могут помочь компаниям понять, как исключить такой риск: «Вовлечение компаний, а также потребителей, создание большего количества петель обратной связи, всё это является гораздо более верным, упреждающим подходом, нежели попытка выяснить способы устранения беспорядка и хаоса, когда они уже случились».
Федеральные агентства в настоящее время всё чаще используют искусственный интеллект (ИИ) и машинное обучение, и очевидно, что однажды они также столкнутся со многими аналогичными вопросами. Согласно ещё одному законопроекту в Управлении служб общего назначения будет создан новый Центр передового опыта для исследований и технической экспертизы политики ИИ. Также будет учреждён федеральный консультативный совет для изучения возможностей и проблем в области ИИ, который потребует от агентств разработку планов обеспечить гражданские свободы, неприкосновенности частной жизни и гражданские права при использовании технологий.
