Надзор за искусственным интеллектом – зарубежный опыт

Под термином «алгоритмические системы» в западных публикациях понимаются, как правило, системы искусственного интеллекта – хотя они, строго говоря, алгоритмическими не являются, поскольку лишены заранее запрограммированных правил работы – в чём, собственно, и заключается суть проблемы контроля. В предлагаемом тексте рассказывается об опыте Канады и Евросоюза в данной сфере.

Канада продвинулась дальше других стран в решении задачи управления алгоритмическими системами, но она сосредоточилась почти исключительно на системах государственных. Правительство страны в апреле 2019 года утвердило директиву об автоматизированном принятии решений для обеспечения управления, надзора и аудита для государственных алгоритмических системам. Директивы действует с 1 апреля 2020 года и предполагает проведение проверок каждые шесть месяцев.

Последствия несоблюдения директивы варьируются от профилактических мер до «заморозки» системы и существенных ограничений работы организации, которая системой владеет.

Согласно директиве государственные сайты и сервисы, на которых используются алгоритмические системы принятия решений, обязаны уведомлять об этом пользователей «на видном месте и понятном языком», регулярно публиковать информацию об эффективности и действенности таких систем. Также владелец системы обязан по требованию предоставлять объяснения принятия алгоритмом именно этого решения, и доступные варианты его отмены (в случае оспаривания принятого решения).

Для определения уровня воздействия алгоритмических систем правительство Канады разработало и опубликовало инструмент оценки с открытым исходным кодом. В частности, для оценки воздействия государственных алгоритмических систем Канады владельцам алгоритмов предлагается ответить на 60 вопросов

Анкета для владельца алгоритмической системы

Для оценки уровня воздействия государственных алгоритмических систем в Канаде предусмотрен следующие вопросы (полный перечень вопросов см. здесь).

1. Описание проекта

3. Характеристика рисков

3.1. Находится ли проект в зоне интенсивного общественного контроля (например, из-за проблем с конфиденциальностью) и/или частых судебных разбирательств? Варианты ответа: да, нет.
3.2. Являются ли клиенты в этой сфере бизнеса особенно уязвимыми? Варианты ответа: да, нет.
3.3. Очень ли высоки ставки принимаемых решений? Варианты ответа: да, нет.
3.4. Будет ли этот проект иметь серьезные последствия для персонала, как с точки зрения их численности, так и с точки зрения их роли? Варианты ответа: да, нет.

5. О системе

5.1. Пожалуйста, отметьте, какие возможности применимы к вашей системе. Варианты ответов:

    • распознавание изображений и объектов: анализ очень больших наборов данных для автоматизации распознавания, классификации и распознавания контекста;
    • анализ текста и речи: анализ больших наборов данных для распознавания, обработки и «тэгирования» текста, речи, голоса и выработки рекомендаций на основе тэгов;
    • оценка рисков: анализ очень больших массивов данных для выявления закономерностей и выработки рекомендаций относительно направлений действий, а в некоторых случаях и для инициирования конкретных действий;
    • генерация контента: анализ больших наборов данных для категоризации, обработки, сортировки, персонализации и обслуживания контента в конкретных контекстах;
    • оптимизация процессов и автоматизация рабочих процессов: анализ больших наборов данных для выявления аномалий и кластерных моделей, прогнозирования результатов или способов оптимизации, а также автоматизация конкретных рабочих процессов;
    • другое (уточните).

5.2. Будет ли ваш алгоритм соответствовать любой из следующих характеристик:

5.2.1. Используемый алгоритм будет являться коммерческой тайной? Варианты ответа: да, нет.
5.2.2. Алгоритмический процесс будет трудно интерпретировать или объяснить? Варианты ответа: да, нет.

6. О решении

6.1. Относится ли решение к какой-либо из приведенных ниже категорий (отметьте все, что применимо):

    • услуги, связанные с охраной здоровья;
    • экономические интересы (гранты и взносы, налоговые льготы, взыскание долгов);
    • социальная помощь (например, требования по инвалидности
      и т.д);
    • доступ и мобильность (пропуска по соображениям безопасности, пограничные переходы);
    • лицензирование и выдача разрешительных документов;
      другое (уточните).

7. Оценка воздействия

7.1. Будет ли система использоваться только для оказания помощи лицам, принимающим решения? Варианты ответа: да, нет.
7.2. Заменит ли система решение, которое могло быть принято человеком? Варианты ответа: да, нет.
7.3. Будет ли система заменять человеческие решения, требующие рассудительности или осмотрительности? Варианты ответа: да, нет.
7.4. Используется ли система другой частью организации, чем те, кто ее разработал? Варианты ответа: да, нет.
7.5. Являются ли последствия, вытекающие из этого решения, обратимыми? Варианты ответа: обратимые, вероятно обратимые, сложно обратимые, необратимые.
7.6. Как долго длятся последствия этого решения? Варианты ответа: практически нет воздействия, умеренное воздействие, сильное воздействие, очень сильное воздействие.

7.6.1. Пожалуйста, опишите, почему последствия, вытекающие из этого решения, соответствуют выбранному выше варианту (открытый ответ).

7.7. Последствия, которые это решение окажет на права и свободы отдельных лиц, скорее всего, будут следующими. Варианты ответа: практически нет воздействия, умеренное воздействие, сильное воздействие, очень сильное воздействие.

7.7.1. Пожалуйста, опишите, почему последствия, вытекающие из этого решения, таковы (в соответствии с выбранным выше вариантом, открытый ответ).

7.8. Последствия, которые это решение окажет на здоровье и благополучие отдельных людей, скорее всего, будут следующими. Варианты ответа: практически нет воздействия, умеренное воздействие, сильное воздействие, очень сильное воздействие.

7.8.1. Пожалуйста, опишите, почему последствия, вытекающие из этого решения, таковы (в соответствии с выбранным выше вариантом, открытый ответ).

7.9. Последствия, которые это решение окажет на экономические интересы отдельных лиц, скорее всего, будут следующими. Варианты ответа: практически нет воздействия, умеренное воздействие, сильное воздействие, очень сильное воздействие.

7.9.1. Пожалуйста, опишите, почему последствия, вытекающие из этого решения, таковы (в соответствии с выбранным выше вариантом, открытый ответ).

7.10. Последствия, которые это решение окажет на текущую устойчивость экологической экосистемы, скорее всего, будут следующими. Варианты ответа: практически нет воздействия, умеренное воздействие, сильное воздействие, очень сильное воздействие.

7.10.1. Пожалуйста, опишите, почему последствия, вытекающие из этого решения, таковы (в соответствии с выбранным выше вариантом, открытый ответ).

По результатам анализа ответов алгоритмической системе присваивается один из четырёх уровней в зависимости от степени влияния системы на отдельных лиц, сообщества, организации, экосистемы и пр. Ключевыми для определения уровня являются социально-экономическое воздействие, оценка влияния на государственные процессы (услуги), управления данными, (методологической) прозрачности и сложности системы.

Уровни воздействия алгоритмических систем (канадская классификация)

Уровень

Описание

IРешение, скорее всего, не окажет практически никакого влияния на:

  • права отдельных лиц или сообществ;
  • здоровье или благополучие отдельных лиц или сообществ;
  • экономические интересы отдельных лиц, организаций или сообществ;
  • устойчивость экосистемы.

Решения I уровня часто приводят к последствиям, которые являются обратимыми и краткими.

IIРешение, вероятно, будет иметь умеренное влияние на:

  • права отдельных лиц или сообществ;
  • здоровье или благополучие отдельных лиц или сообществ;
  • экономические интересы отдельных лиц, организаций или сообществ;
  • устойчивость экосистемы.

Решения II уровня часто приводят к воздействиям, которые могут быть обратимыми и краткосрочными.

IIIРешение, вероятно, окажет сильное влияние на:

  • права отдельных лиц или сообществ;
  • здоровье или благополучие отдельных лиц или сообществ;
  • экономические интересы отдельных лиц, организаций или сообществ;
  • устойчивость экосистемы.

Решения III уровня часто приводят к последствиям, которые трудно изменить, и они продолжаются.

IVРешение, вероятно, окажет очень сильное влияние на:

  • права отдельных лиц или сообществ;
  • здоровье или благополучие отдельных лиц или сообществ;
  • экономические интересы отдельных лиц, организаций или сообществ;
  • устойчивость экосистемы.

Решения IV уровня часто приводят к последствиям, которые необратимы и являются постоянными.

Евросоюз еще не выработал практических шагов или обязательных мер, но в целом движется в том же направлении, что и Канада. Однако, в отличии от североамериканцев, ЕС планирует осуществлять контроль за всеми алгоритмами, а не только теми, что работают в системах, принадлежащих государству.

Проблема оценки воздействия алгоритмических систем исследуется Исследовательским центром Европейского парламента. Центр подготовил два аналитических документа: «Понимание алгоритмического принятия решений: возможности и проблемы» (март 2019) и «Система управления для обеспечения алгоритмической подотчетности и прозрачности» (апрель 2019).

По мнению авторов отчётов целесообразно создание регулирующего органа для контроля и надзора за деятельностью алгоритмических систем, в задачи которого войдут:

  • проведение оценки рисков применения алгоритмов по степени воздействия на человека, классификация типов алгоритмов, исследование алгоритмов в случае нарушения прав человека, консультирование регулирующих органов в отношении алгоритмических систем, определение стандартов и лучших практик, аудит алгоритмических систем, помощь пользователям в защите их прав при неподобающем использовании алгоритмов;
  • сертификация и стандартизация алгоритмических систем, установление требований и обязательств по сертификации (в частности, соответствие разрабатываемым стандартам IEEE P7000 «Процесс решения этических проблем во время проектирования систем» и IEEE P7001 «Прозрачность автономных систем»);
  • создание правовых условий для прозрачности и подотчётности алгоритмических систем, созданных по заказу государства или на государственные средства (обеспечение публичного раскрытия цели, области применения, предполагаемого использования, соответствующих политик и практик, графика и процесса самооценки алгоритмической системы, публикации плана значимого и постоянного доступа внешних исследователей для проверки системы);
  • обеспечение защиты осведомителей (сотрудников компаний-разработчиков алгоритмов) в случае раскрытия фактов неправомерного использования алгоритмов или скрытых функций;
  • обеспечение защиты исследователей от судебного преследования (нарушение авторских прав или условий пользования) при их независимом тестировании или глубоком анализе, если это служит общественным интересам;
  • обеспечение «алгоритмической грамотности» для повышения осведомлённости населения о принципах работы алгоритмических систем, оказываемом влиянии и формирования критической оценки;
  • обеспечение стандартизированного обязательного уведомления пользователей об осуществляемой алгоритмической обработке (информация разъяснительного характера, которая потенциально может повлиять на процесс принятия решения отдельного пользователя, более широкое общественное понимание поведения совокупной системы).
Следите за нашим Телеграм-каналом, чтобы не пропускать самое важное!

Поделиться: