Предлагаем вашему вниманию краткие сведения об отчёте, подготовленном в апреле комиссией по этике данных и безопасности алгоритмов (Datenethikkommission) при немецком МВД.
МВД ФРГ действует по принципу «внутренняя политика затрагивает все сферы общества». В сферу его ответственности входят, в частности, вопросы безопасности.
I. Руководящие принципы
Ориентированность на людей и европейские моральные ценности.
Продвижение цифровых навыков и критического отношения к технологиям.
Усиление защиты свободы и неприкосновенности личности, самоопределения.
Содействие ответственному и совместимому с обществом использованию данных.
Регулирование с учетом рисков и эффективный контроль алгоритмических систем.
Поддержание и развитие демократии и социальной сплоченности.
Ориентация цифровых стратегий на цели устойчивого развития.
Укрепление цифрового суверенитета Германии и Европы.
II. Общие этические и правовые принципы
Человек несёт моральную ответственность за свои действия: за цели, которые он преследует, за причины, по которым он выбрал эти цели, за средства, которые он использует для достижения целей. При определении места технологий в будущем эти вопросы должны быть приняты во внимание. Базовый принцип – технологии служат людям, а не люди технологиям.
Цифровые технологии не меняют фундаментальные ценности, права и свободы, закреплённые в Конституции Германии и Европейской Хартии основных прав. Однако новые технологические вызовы требуют подтверждения и разъяснения основных прав в отношении новых технологий.
Социально признанные этические и правовые принципы перечислены ниже.
1. Человеческое достоинство
Человеческое достоинство представляет безусловную ценность для каждого человека. Принцип запрещает полное «цифровое профилирование» человека, а также использование цифровых технологий для обмана, манипулирования мнением или пренебрежения человеком.
2. Самоопределение
Самоопределение является основным способом выражения свободы, оно включает в себя информационное самоопределение.
3. Безопасность
Качественные товары и услуги защищают (оберегают) физическое и эмоциональное здоровье граждан и окружающую среду. Обеспечение безопасности предъявляет высокие требования, в частности, к взаимодействию человека с машиной, в отношении устойчивости систем к кибератакам и неправильному использованию [цифровых технологий].
4. Демократия
Цифровые технологии принципиально важны для развития демократии. Они обеспечивают новые формы политического участия, но они также могут создавать риски манипулирования и стать инструментом радикализации.
5. Справедливость и солидарность
Новые технологии оказывают всё большее влияние на общество, бизнес и государство, повышают опасность изоляции и дискриминации. Поэтому применение цифровых технологий должно поддерживать социальное участие и, следовательно, способствовать социальной сплочённости.
6. Устойчивое развитие
Цифровые технологии должны служить устойчивому развитию, помогать в достижении целей экономической, экологической и социальной устойчивости.
Не всё, что является этически значимым, должно регулироваться законами. Однако законодательство должно отражать возможные этические последствия и соответствовать этическим требованиям.
Этические принципы не могут сделать правовое регулирование ненужным. Однако регулирование не должно блокировать технологические и социальные инновации, а также динамичное развитие рынка.
Законодательство является одним из нескольких возможных форматов реализации этических принципов. Сложность и скорость развития экосистем данных требуют взаимодействия различных инструментов управления на различных уровнях (многоуровневое управление). В дополнение к правовому регулированию и стандартизации эти инструменты включают различные формы общественного регулирования и саморегулирования. Это же относится к бизнес-моделям и вариантам экономического контроля. В более широком смысле управление также включает государственную политику в области образования и научных исследований. При этом каждый из упомянутых инструментов управления должен рассматриваться не только на национальном, но и на европейском и международном уровнях.
Ключевая задача правительства – обеспечить регулирование первичных данных и, что еще более важно, регулирование алгоритмических систем.
Искусственный интеллект (ИИ) является особой формой алгоритмических систем, к которым должны применяться общие требования и подходы как к данным и алгоритмическим системам в целом. Регулирование данных и регулирование алгоритмических систем не конкурируют друг с другом и не являются разными сторонами одной медали. Это взаимодополняющие подходы.
Данные являются базой для машинного обучения и алгоритмических систем. Регулирование данных должно быть нацелено на установление их происхождения и возможных последствий обработки для различных субъектов, в зависимости от контекста и значения данных, в том числе для общества. С этической и юридической точек зрения речь идёт об установлении объективных требований к обработке данных, но ещё чаще – о субъективных правах, которые субъекты данных могут отстаивать в спорах с другими субъектами или обществом. Главное различие между данными определяется разделением их на личные и неличные данные. Такое разделение определяет применимость закона о защите данных.
III. Общие требования к обработке данных
(Полный состав требований см. в оригинале документа, здесь они приведены выборочно).
Признание «владения данными» в смысле введения исключительного права на данные, основанного на праве собственности или на праве интеллектуальной собственности, не решит существующие проблемы и создаст новые. Поэтому оно не рекомендуется. Также не рекомендуется подходить к вопросу с точки зрения экономической эксплуатации персональных данных (оценивая экономический ущерб от их ненадлежащего использования), как это продвигается компаниями.
Необходимо прекратить безусловную передачу данных взамен каких-либо услуг. Следует разработать разумные альтернативные предложения для граждан, передающих свои данные для коммерческого использования. Например, должны быть разработаны справедливые модели оплаты.
В центре всех усилий по улучшению контроля за доступом к первоначально личным данным лежит разработка процедур и стандартов анонимизации и псевдонимизации. Для развития экономики важно установление принципа: «нет никаких персональных данных, если стандарт соблюдается или существуют соответствующие гарантии для субъектов данных». Эти меры должны сопровождаться карательными запретами на деанонимизацию, если персональные данные могут быть восстановлены из ранее анонимных данных, например, путём разработки новой технологии.
Необходимо дать людям возможность контролировать свои личные данные и освободить людей от решений, которые подавляют их свободу выбора.
IV. Общие требования к алгоритмическим системам
(Полный состав требований см. в оригинале документа, здесь они приведены выборочно).
В отличии от данных алгоритмические системы влияют даже на тех, кто имеет отношения к обрабатываемым данным. Ключевым вопросом становится контроль за алгоритмом и ответственность за ИИ.
Регулирование алгоритмических систем должно быть риск-ориентированным, т.е. основываться на принципе: увеличение потенциального ущерба должно сопровождаться ужесточением требований и более глубоким вмешательством регулирующих инструментов. Влияние алгоритмической системы должно рассматриваться в социальном и технических аспектах, т.е. зависеть от всех компонентов алгоритмического приложения, учитывать влияние людей, начиная с этапа разработки (например, учитывать, какие данные использовались для обучения) до реализации в среде приложения и на этапе оценки и доработки системы.
Законодатель должен установить критерии для проверки систем на определение уровня потенциального ущерба от их применения, который должен основываться на общих этических и правовых принципах.
Нормативные документы и требования к алгоритмическим системам должны включать инструменты коррекции и контроля, требования к прозрачности, объяснимости и прослеживаемости результатов, а также правила распределения ответственности за использование.
В качестве первого шага предлагается выделить пять уровней критичности алгоритмических систем. Уровень 1 – приложения с нулевым или незначительным потенциалом негативных последствий. Для таких систем отсутствует необходимость в специальном контроле и разработке требований, выходящих за рамки общих требований к качеству, которые применяются к продуктам без алгоритмических элементов.
Уровень 2 – приложения с определённым потенциалом негативных последствий. Для них необходимо регулирование, последующий контроль и введение обязательств по публикации оценок риска негативных последствий, обязательств по раскрытию информации для надзорных учреждений или повышенные требования прозрачности, а также обязательство предоставлять информацию по запросу тех, кого она касается.
Уровень 3 – приложения с риском появления регулярных негативных последствий или со значительным уровнем уязвимости. Для них оправданы дополнительные процедуры одобрения.
Уровень 4 – приложения со значительным потенциалом негативных последствий. Такие приложение требуют более строгих обязательств по контролю и прозрачности, включая публикацию факторов, влияющих на алгоритмический расчёт, веса коэффициентов, предоставление базы данных и алгоритмического решения, а также прямого доступа к системе (через программный интерфейс) для постоянного официального контроля.
Уровень 5 – приложения с недопустимым уровнем негативных последствий. Для них должен быть введён полный или частичный запрет.
Указанное регулирование должно быть реализовано на уровне законодательства ЕС (Правила для алгоритмических систем, EUVAS). Этот правовой акт должен иметь отраслевую спецификацию на уровне ЕС и государств-членов ЕС.
Использование алгоритмических систем ведёт к негативным последствиям как для отдельных лиц, так и для целых групп людей. Риски существуют даже если никакие личные данные не обрабатываются. Например, риски могут касаться имущества, физической безопасности или вероятности дискриминации. Поэтому для регулирования алгоритмических систем следует рассмотреть более гибкий и адаптированный режим, чем для защиты данных.
Инструменты
Для алгоритмических систем с повышенной критичностью (начиная с уровня 2) требуется введение обязательной маркировки. Оператор системы должен четко указывать, когда и как используются алгоритмические системы. В случае риска возникновения путаницы – кто принимает решение, человек или машина – маркировка должна быть обязательной вне зависимости от степени критичности системы.
Обязательство раскрывать информацию о «применяемой логике, объёме и предполагаемых эффектах» (согласно GDPR) должно применяться не только к полностью автономным системам, но и при «цифровом профилировании» (т.е., фактически, при составлении цифрового досье – ред.), независимо от того, кто принимает последующие решения.
В определённых областях целесообразно предоставлять общее объяснение логики принятия решения. В других требуется индивидуальное объяснение. Главное, чтобы субъекты данных понимали логику решения и были информированы о последствиях своего согласия на обработку данных. Поэтому правительство должно содействовать дальнейшим исследованиям и разработкам, направленным на повышение объяснимости алгоритмических (особенно самообучающихся) систем.
В определённых областях деятельности, в которых затрагиваются общественные интересы, должно быть предоставлено право доступа к информации об алгоритмических системах даже тем, кто непосредственно не затронут ими. Такие права должны появляться главным образом при проведении журналистских расследований, научных исследований и защищаться с учётом интересов операторов данных.
Необходимо законодательно обязать СМИ публиковать оценку риска наступления негативных последствий, информацию об утечках даже не личных данных. Риски наступления негативных последствий для СМИ должны рассматриваться вне защиты данных. В частности, должны рассматриваться риски для самоопределения, неприкосновенности частной жизни, физической неприкосновенности, а также неприкосновенности активов и имущества, риски дискриминации. В дополнение к базовым данным и логическому описанию модели следует принимать во внимание показатели корректности данных и качества модели. Например, учитывать систематические или статистические ошибки, которые появляются при формировании прогноза.
Требования к документированию и регистрации в отношении используемых наборов данных и алгоритмической модели, периоды хранения и использования должны быть конкретизированы и описаны таким образом, чтобы они могли быть проверены контролирующими органами (например, в отношении источника данных, их подготовки к обработке или использования задекларированной алгоритмической модели).
Поставщик решения должен выставлять будущему оператору системы минимальное количество технических, математических и процедурных требований, которые гарантируют правильность и законность получаемых результатов. Такие требования могут включать спецификации для механизмов коррекции и контроля результатов или требования к качеству данных и безопасности системы. Например, было бы целесообразно указать качественные требования к данным и зависимость от них результатов алгоритмической обработки.
При использовании алгоритмических систем для принятия решения человеком необходимо разъяснить требования и правовые последствия статьи 22 GDPR «Автоматизированное принятие решений в индивидуальных случаях, включая профилирование». Следует предусмотреть механизмы защиты от решений, частично основанных на результатах работы алгоритмических систем, поскольку на практике влияние таких систем на конечное решение может быть сравнимо с автономным принятием системой решения. В этой связи вместо принципа запрета, который применяется в статье 22 GDPR, рекомендуется более гибкий, риск-ориентированный режим регулирования, который предоставит гражданину адекватные гарантии (особенно в случае профилирования) и средства защиты от ошибок и угроз его правам.
Следует рассмотреть вопрос о расширении сферы действия антидискриминационного закона, чтобы распространить его действие на дискриминацию, основанную на автоматическом анализе данных или автоматизированном процессе принятия решений.
В дополнение к существующим правилам имеет смысл для алгоритмических систем с риском появления регулярных негативных последствий или значительным уровнем уязвимости (уровень 3) или со значительным потенциалом негативных последствий (уровень 4) установить процедуры одобрения или проведения предварительных испытаний.
Учреждения
Правительству рекомендуется укрепить существующие надзорные учреждения и структуры в пределах своей сферы ответственности, перестроить их и, при необходимости, создать новые институты и структуры. Официальные надзорные задачи и контрольные полномочия должны в первую очередь возлагаться на те отраслевые надзорные органы, которые уже разработали отраслевую экспертизу. Важно, чтобы ответственные органы были обеспечены необходимыми финансовыми, людскими и техническими ресурсами.
Правительству рекомендуется создать общенациональный Центр компетенции по алгоритмическим системам, который будет поддерживать отраслевые надзорные органы.
Правительству следует поддерживать инициативы по установлению технико-статистических стандартов качества процедур испытаний и аудита. В будущем такие процедуры могут играть центральную роль в проверке алгоритмических систем на надёжность и безопасность.
Правительству рекомендуется изучить инновационные модели совместного регулирования и саморегулирования данной сферы.
Правительству рекомендуется законодательно закрепить принцип «соблюдай или объясни». Принцип должен наложить юридические обязательства на операторов алгоритмических систем соблюдать Кодекс алгоритмической ответственности. Разработать такой кодекс должна группа экспертов, не находящихся под влиянием государства. Представители гражданского общества должны быть вовлечены в его разработку.
Специальный знак соответствия Кодексу в качестве добровольной или обязательной маркировки может информировать граждан о надежности алгоритмической системы и сформировать рыночные стимулы для разработки и использования надежных систем.
По аналогии с тем, как сегодня компании определённого размера должны назначить ответственного за защиту данных, компаниям и органами власти, которые эксплуатируют критические алгоритмические системы, в будущем необходимо назначить контактное лицо. В его обязанности должно войти общение с органами власти и участие в проверках.
Для учёта интересов гражданского общества и бизнеса при разработке законодательства должны быть созданы консультативные советы с отраслевыми надзорными органами.
Правительству необходимо обеспечить разработку технических стандартов аккредитованными организациями по стандартизации, так как такой подход наиболее эффективен в сравнении с исключительно государственным регулированием или частным саморегулированием.
Бизнесу и ассоциациям по защите прав потребителей должно быть предоставлено право предъявлять иски о защите конкуренции в Германии. Такое право обеспечит соблюдение правовых норм в области договорного права, закона о справедливой торговле или антидискриминационного права без необходимости полагаться на действия властей.
Особое внимание: алгоритмические системы для медиапосредников
Особую опасность для демократии представляют медиа-посредники с функцией индивидуального подбора новостей (дословно: «с функцией привратника»). Правительству необходимо изучить, как можно противостоять связанным с ними опасностям. Следует рассмотреть весь спектр мер по предотвращению рисков, который может включать предварительный контроль (например, в форме процедуры лицензирования).
Правительству необходимо создать привилегированное положение СМИ по сравнению с медиа-посредниками с функцией индивидуального подбора новостей и провайдерами услуг СМИ, не имеющих функций индивидуального подбора новостей. Посредники в этой области обязаны использовать такие алгоритмические системы, которые, по крайней мере, в качестве дополнительного предложения, дают пользователям доступ к списку вкладов и информации, которая свободна от внешних тенденций.
Использование алгоритмических систем государственными органами
В интересах своих граждан государство обязано использовать наилучшие доступные технологии, включая алгоритмические системы. При этом необходимо проявлять особую осторожность и защищать права граждан. Поэтому использование алгоритмических систем государственными органами, как правило, должно классифицироваться как особо чувствительное в смысле модели критичности и требует, по крайней мере, всесторонней оценки воздействия риска.
Законодательные и судебные задачи могут передаваться алгоритмическим системам только в периферийных областях. В частности, алгоритмические системы не должны использоваться для подрыва свободной воли в демократическом процессе и фактической независимости судов. С другой стороны, существует большой потенциал для использования алгоритмических систем в администрировании, особенно в управлении производительностью. Чтобы принять это во внимание, законодатели должны чаще разрешать частично и полностью автоматизированные административные процедуры.
Государственные решения, принимаемые с использованием алгоритмических систем, должны оставаться прозрачными и оправданными. Это может потребовать разъяснений или дополнений к существующим законам о свободе информации и прозрачности. Кроме того, использование алгоритмических систем не освобождает от соблюдения принципа, согласно которому суверенные решения должны регулярно обосновываться в отдельных случаях; напротив, этот принцип может ограничивать использование чрезмерно сложных алгоритмических систем.
С этической точки зрения общее право на свободу не соответствовать стандартам не может быть признано. В то же время автоматическое правоприменение вызывает ряд этических проблем. Следовательно, должен быть предоставлен инструмент, позволяющий отменить автономно принятое [алгоритмической системой] решение. Кроме того, должна быть обеспечена пропорциональность между потенциальным нарушением стандарта и автоматизированной (возможно, превентивной) принудительной мерой к его исполнению.
Ответственность за алгоритмические системы
Помимо уголовной ответственности и административных санкций, ответственность за ущерб является неотъемлемой частью этически оправданной нормативно-правовой базы. Уже можно видеть, что алгоритмические системы – отчасти из-за сложности, скорости развития систем и из-за растущей их «автономности» – создают проблемы для существующего законодательства об ответственности. В связи с этим рекомендуется провести комплексный анализ и, если необходимо, адаптацию применимого законодательства об ответственности.
Идея введения в нормативное поле т.н. «электронного человека» и наделение его ответственностью за ущерб не поддерживается, поскольку признание новой формы субъектности несёт необходимость существенной переработки законодательства и не решает никаких проблем.
С другой стороны, для ответственного использования т.н. «автономных» систем необходимо прописать соответствующие меры ответственности по аналогии с ответственностью для помощников. Например, банк, который использует автономную систему для проверки кредитоспособности своих клиентов, должен, по крайней мере, нести такую же ответственность перед своими клиентами, как если бы он использовал сотрудника-человека.
Необходимо продолжить дискуссии об адаптации Директивы об ответственности за продукт и разработать новые стандарты безопасности алгоритмической продукции и ответственности за ошибки при её использовании. Дискуссии должны продолжиться на общеевропейском уровне.
Этика, закон и демократия должны развивать свою творческую силу в техническом мире. Это требует междисциплинарного дискурса в политике и обществе, а также в законодательстве и регулировании, которые должны быть разработаны настолько открыто, что сохранят свою важность и востребованность, даже когда в условиях быстрого развития технологий и бизнес-моделей. Кроме того, для эффективного контроля соблюдения норм и своевременного вмешательства в случае нарушений или нежелательных изменений необходимо создать новые инструменты, процедуры и структуры.
