Предлагаем вашему вниманию сокращённый перевод статьи «We Need AI That Is Explainable, Auditable, and Transparent» («Нам нужен объяснимый, проверяемый, прозрачный искусственный интеллект»), опубликованной HBR. Текст посвящён обсуждению этических проблем, связанных с разработкой и использованием ИИ-систем.
Каждый родитель тревожится о том, кто и как влияет на его детей. Кто их учителя? Какие фильмы они смотрят? В какие видеоигры играют? В компании с кем проводят время? Мы внимательно изучаем эти факторы, поскольку знаем, что они могут повлиять на то, какие решения будут принимать наши дети, чему они обучатся.
Точно так же, как мы задумываемся о том, кто учит наших детей, нам следует обращать внимание на то, кто обучает наши алгоритмы (ИИ-системы не относятся к алгоритмическим, т.к. алгоритм нельзя обучить, однако в англоязычных публикациях термин «algorithm» часто используется в смысле «нейросеть, лежащая в основе ИИ-системы» — ред.). Подобно людям, системы искусственного интеллекта учатся, анализируя данные об окружающей их предметной области, и принимают решения в зависимости от оказываемого на них внешнего влияния. И, как и в случае с детьми, мы ожидаем, что ИИ-системы способны объяснить свои решения.
Алгоритмы зачастую определяют, в какой колледж мы поступим, получим ли мы работу, одобрят ли нам ипотеку, и даже – кого посадят в тюрьму и на какой срок. В отличие от «человеческих» решений, эти решения, принятые математическими моделями, редко подвергаются сомнению. Они просто выводятся на экран компьютера – и решают человеческие судьбы.
В некоторых случаях ошибки алгоритмов очевидны, но чаще – нет. И самое неприятное (причём такое случается повсеместно) – то, что мелкие ошибки и сбои программы, остающиеся незамеченными, оказывают огромное влияние на жизни людей.
Как только вы попадаете на «неверную сторону алгоритма», ваша жизнь значительно усложняется. Вы не можете попасть в хорошую школу или получить работу, вы зарабатываете меньше денег и живёте в непрестижном районе. Эти «исходные» данные становятся основой для решений других алгоритмов – и ваша ситуация ещё более ухудшается. Каждый этап вашего падения документируется, измеряется и оценивается. При этом системы, принимающие решения, настолько сложны и непрозрачны, что люди просто не понимают «хода мыслей» алгоритмов.
Чем больше решений мы доверяем принимать ИИ-системам, тем более кафкианской становится ситуация. Очень важно начать относиться к ошибкам ИИ серьёзно и предпринять шаги к тому, чтобы была возможность их выявить и исправить.
Источники ошибок
Ошибки в ИИ-системах имеют два главных источника: наборы данных, на которых обучаются модели, и собственно ИИ-системы как технические изделия.
Ошибки в «тренировочных» наборах данных могут быть незначительными. Например, приложение для смартфонов собирает некие данные – и считается, что смартфоны есть у всех жителей. Однако в бедных районах они есть не у каждого – и в ИИ-системах появляются лакуны. Также на результат могут повлиять данные, которые даже не были собраны – а их отсутствие искажает картину.
Ещё один источник ошибок – человеческий фактор. Например, ошибочно вынесенный приговор в дальнейшем повлияет на то, какое наказание алгоритм назначит обвинённому в преступлении. Также источником ошибок может стать оператор, изначально неверно атрибутировавший данные.
Эти типы ошибок всепроникающи и сложны для исправления. К примеру, Amazon был вынужден отказаться от использования ИИ-инструмента для найма сотрудников, поскольку не смог исключить ошибки, связанные с полом кандидатов. ИИ-рекрутёр отдавал предпочтение мужчинам, поскольку в наборе данных, на котором он обучался, содержалась информация о том, что из ранее нанимавшихся сотрудников компании самыми успешными были мужчины. Даже когда упоминания пола кандидата были удалены из исходных данных, алгоритм отлавливал определённые слова, чаще встречающиеся в резюме мужчин, и всё равно отдавал предпочтение мужчинам.
Примером ошибок разработки собственно ИИ-систем, безотносительно к данным, на которых их обучали, может служить принцип оценки учителей лишь по уровню знания предмета обучаемыми – без учёта других аспектов педагогической деятельности. Другой вариант ошибки – когда алгоритм создается исходя из того, какие данные проще собрать; или когда модель «заточена» под специфические нужды, а затем применяется для решения более широких задач.
Работа над ошибками
Учитывая, как разнообразны источники ошибок, мы понимаем, что полностью или даже существенно устранить их нереально. Тем не менее, можно сделать наши системы более прозрачными, объяснимыми и проверяемыми. Мы предлагаем три практических шага, которые можно предпринять в этом направлении.
Первое. Работа ИИ-систем должна активно проверяться людьми. Для примера, в одном исследовании приводятся данные о том, что при проверке рентгеновских снимков доля ошибок у машин составила 7,5%; у людей – 3,5%. После того, как люди и машины объединили свои усилия, процент ошибок упал до 0,5.
Второе. Инженеры, проектирующие ИИ-системы, должны досконально понимать алгоритмы, которые они используют. Раньше модели были просты и прозрачны, их можно было просто скачать и запустить. Сегодня необходимо тщательно изучать применяемые алгоритмы – разбирать их до последней строчки кода, чтобы уметь объяснить их возможности и принцип работы конечным пользователям (это мало что даст, поскольку ИИ-системы нельзя «понять», изучая код; см. замечание выше по поводу использования термина «алгоритм» — ред.).
Третье. ИИ-системы и наборы данных, используемые в процессе их обучения, должны быть прозрачными и доступными для проверки. Современные регуляторные инициативы вроде европейского GDPR уже делают первые шаги в этом направлении. Но впереди ещё много работы.
Возможно, более всего мы нуждаемся в сдвиге от культуры автоматизации интеллектуальной работы к культуре дополнения возможностей человека возможностями ИИ-систем: ИИ лучше всего работает не как «волшебный ящик», заменяющий людей и удешевляющий процесс, но как «усилитель мощности» человеческого труда, с помощью которого создается прибавочная стоимость. Сделав ИИ более объяснимым, понятным и прозрачным, мы получим системы не только более честные, но и более эффективные и полезные.
