iНквизиция
На прошлой неделе стало известно, напомним, что Apple разработала и будет применять технологию поиска детской порнографии на устройствах пользователей. Официальное сообщение Apple по этому поводу см. здесь.
Apple не пионер в деле поиска детской порнографии на предмет идентификации её владельца – так, Microsoft располагает необходимой для этого технологией (PhotoDNA) с 2009 года.
Любые фото, загружаемые нами в Facebook или Twitter, автоматически проверяются на принадлежность к базе изображений CSAM (child sexual abuse material), делается это сравнением «цифрового слепка» фотографии (часто называемого «хэшем», что не вполне точно) с записями в базе данных CSAM.
О технологии
Подробности о технологии Apple можно прочесть здесь. Суть, если совсем коротко, такова. Если PhotoDNA используется только на серверах, куда загружаются изображения, но не на устройствах пользователей, то технология от Apple (она называется NeuralHash) отличается по способу применения – «цифровой слепок» изображения вычисляется в реальном времени прямо на iPhone и отправляется вовне на экспертизу, которая должна, тоже в реальном времени, ответить на вопрос: «Присутствует ли это изображение в базе изображений CSAM?» Сравнение проводит обученная нейросеть, отсюда «Neural» в названии.
Apple обещает хранить «цифровые слепки» фото на устройстве пользователя «надёжно», в виде «нечитаемого» (unreadable) набора данных. При передаче изображений с устройства в iCloud пользователь (точнее, учётная запись iCloud) получает так называемый ваучер безопасности (терминология Apple). По сути, это свидетельство не безопасности фото, а благонадёжности пользователя. «Ваучер» удостоверяет, что пользователь с такой-то учётной записью передал в облако картинки, которые, по мнению нейросети, детской порнографией не являются.
Apple утверждает, что не узнает ничего о содержимом «ваучера» до тех пор, пока число автоматически выявленных признаков принадлежности изображений к CSAM не превысит порог, определённый настройками системы. В случае превышения порога учётная запись блокируется, и в дело вступает полиция. Не сразу, сначала данные поступят в National Center for Missing & Exploited Children (NCMEC, это НКО, созданная Конгрессом США), но вступает.
Обладатель блокированной учётной записи может апеллировать по этому поводу, пишет Apple.
На словах Apple гарантирует, что ложных срабатываний у NeuralHash будет «менее одного на триллион [проверок] в год».
Об этике
Apple в официальном сообщении о NeuralHash этическую сторону дела игнорирует по понятным соображениям – не сто́ит технологической компании лезть не в свою предметную область. Однако этические проблемы тут есть.
Этика – главное, на что обращают внимание в Европе в связи с использованием ИИ-систем. Этические принципы в отечественной стратегии развития ИИ указаны как важнейшие.
На практике это означает, что ИИ-система должна быть прозрачна и подотчётна человеку.
Между тем о том, где в процедуре использования NeuralHash принимает участие человек, не сообщается – несмотря на то, что эта процедура фактически предусматривает решение компьютера о блокировке аккаунта с последующим дознанием.
Формальных претензий к Apple быть не может. Компания предлагает лишь инструмент, технологию, которая, возможно, даже не является технологией ИИ в полном смысле – утверждать иное на основании официальных сообщений нельзя хотя бы потому, что нововведения касаются не только поиска педофилов, но и усиления средств родительского контроля.
О потенциальных опасностях
И всё же Apple делает то, чего не должна. Производителю устройства нечего делать на устройстве после того, как он получил за него деньги. После покупки iPhone уже не принадлежит Apple. К чему разговоры о сквозном шифровании, об отказе дать доступ полиции к смартфону обвиняемого и пр., если сама же Apple следит за пользователем на его же смартфоне, какой благой ни была бы цель слежки.
Поступая так, Apple вступает если не в борьбу, то точно в конкуренцию с государствами.
Apple не может открыто сопротивляться государствам, если те 1) решительно настроены и 2) важны для прибыли. Национальные законодательства не поощряют расхищение персональных данных своих граждан. Например, в Китае Apple хранит данные китайцев в китайских ЦОД, и вообще исполняет законы КНР, за что её критикуют враги тоталитаризма.
В случае же пересылки на свои серверы не персональных данных, а некоего «цифрового слепка», коллизий с «неправильными» правительствами и национальными законами у Apple не возникает. Более того, Apple заявляет, что «ваучеры безопасности» защитят её от «давления правительств», которые требуют выявить материалы, отличные от CSAM.
Между тем, защита прав человека – дело не компаний, а государств. Это очевидно.
Правда, в данном случае есть и другая, более простая очевидность: с педофилами надо бороться, поэтому Apple молодец, всё правильно делает, рассуждает обыватель.
За скобками такого рассуждения остаётся небезразличное для обывателя обстоятельство: Apple может и не выдать ему «ваучер безопасности», причём сделает это преднамеренно, если правильному американскому правительству или какой-нибудь из двух десятков спецслужб этого правительства потребуется кого-либо скомпрометировать, шантажировать или арестовать. Читавшим Сноудена такое предположение дурацким не кажется.
Да и без того выдаваемая Apple «метка правильности», сертификат, предъявитель которого не подозревается Apple в педофилии, – странное явление для конца первой четверти XXI века. Ещё не процедура соответствия стандарту, принятая у инквизиторов, и не измерение черепов, но уже нечто столь же неотвратимое и неподвластное бедолаге, попавшему под проверку.
Автор выражает признательность Владимиру Каталову, благодаря беседе с которым был написан текст.