Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST) рекомендует увеличить области поиска источников ошибок в системах искусственного интеллекта (ИИ) и обращать внимание не только на изъяны в процессах машинного обучения и неадекватные наборы данных, на которых ИИ «тренируется», но и на более широкие социологические факторы, влияющие на разработку технологии, сообщает NIST в среду.
Летом прошлого года NIST опубликовал проект рекомендаций о стандартах идентификации ошибок в ИИ-системах, а сейчас представил итоговую версию документа, доработанную по результатам общественных обсуждений. Главным изменением в документе стал акцент на том, как ошибки в ИИ-системах проявляют себя «в социальном контексте».
Работа ИИ ведётся не в абстрактном изолированном пространстве, а в реальном мире – ИИ-системы используются, чтобы помогать людям принимать определённые решения, которые напрямую влияют на жизнь других людей. Например, от «советов» ИИ может зависеть, примут ли ребёнка в конкретную школу или получат ли его родители кредит в банке.
См. также: Голосовой помощник Amazon посоветовал ребёнку устроить короткое замыкание >>>
Ранее эксперты уже отмечали, что зачастую качество ИИ-систем страдает из-за того, что в процессе машинного обучения используются наборы данных, в которых недостаточно представлены, например, данные об этнических группах, которые могут иметь важные и существенные отличия, способные обусловить некорректную работу ИИ-систем. Теперь исследователи считают, что проблема глубже, и кроме описанных «статистических» и «вычислительных» ошибок следует принимать во внимание ошибки «человеческие/пользовательские» и «общесистемные».
Общесистемные ошибки появляются в результате того, что государственные институты ставят в невыгодное положение определённые социальные группы (пример – расовая дискриминация).
Пользовательские ошибки связаны с тем, как люди интерпретируют данные, пытаясь получить недостающую информацию (пример – то, как место проживания, т.е. социальное окружение человека влияет на вероятность, с которой полиция при случае сочтёт его подозреваемым в преступлении).
Сочетание пользовательских, общесистемных и вычислительных ошибок может образовать «разрушительную смесь», особенно если в руководстве по использованию ИИ-системы не описаны риски, связанные с её применением, говорится в документе NIST.
Для решения этих проблем NIST предлагает использовать «социотехнический» подход к снижению количества ошибок в ИИ-системах, имея в виду, что только «технического» подхода недостаточно.
Социотехнический подход – это нарождающаяся область разработки ИИ-систем, и для выработки техник принятия во внимание описанных факторов понадобится сотрудничество широкого спектра заинтересованных сторон из различных сфер деятельности. Важно, чтобы в этом приняли участие не только «технари», отмечают в NIST. Для обсуждения вопроса и привлечения экспертов институт планирует в ближайшие месяцы провести серию открытых семинаров, говорится в сообщении.
См. также: Топ-10 мировых событий в сфере правового регулирования и этики ИИ >>>
