Тема “безопасности детей”, анонсированная Apple на прошлой неделе, продолжает активно “бухтеть”, обрастая все новыми и новыми комментариями с самых разных сторон. Деталей тоже добавляется, даже таких, которых не было в моем первоначальном посте. Я не помню, чтобы в обсуждениях какой-либо темы сообщество инфосека настолько разделилось: противников и сторонников этих инициатив предостаточно, и у каждого полно самых разных аргументов. Для меня лично очень интересным стал комментарий Алекса Стамоса (бывший главный безопасник Facebook), который, я думаю, понимает масштабы и глубину ужасов с подобными материалами:

First off, a lot of security/privacy people are verbally rolling their eyes at the invocation of child safety as a reason for these changes. Don't do that.

The scale of abuse that happens to kids online and the impact on those families is unfathomable. https://t.co/qawUkqMAKB

— Alex Stamos (@alexstamos) August 7, 2021

Вся эта тема и обсуждения густо приправлены также недостатком информации (или мешаниной обрывков информации), поэтому я решил перевести один из лучших постов на эту тему у Джона Грубера. Он, как мне кажется, достаточно взвешенно озвучил “выгоду” от этих инициатив, не забыв также и об основной угрозе. Давненько я не переводил тексты, так что мой скилл мог вполне заржаветь, не судите строго.
———
Apple вчера анонсировала три новые инициативы “Безопасность детей”:

Первое: новые коммуникационные инструменты, которые помогут родителям быть более информированными и помогать детям справляться с онлайн-общением. Приложение Messages будет использовать машинное обучение на устройстве для предупреждений о “щекотливом” контенте (прим. пер.: тут я не смог придумать лучше альтернативу термину Sensitive, хотя понятно, о какого рода контенте идет речь), в то же время сохраняя частную переписку недоступной для Apple.

Следующее, iOS и iPadOS будут использовать криптографию для ограничения распространения CSAM в онлайне, при этом сохраняя приватность пользователей. Обнаружение CSAM позволит Apple предоставлять ценную информацию для правоохранительных органов о коллекциях CSAM в сервисе iCloud Photos

И последнее, обновления для Siri и Поиска предоставят возможность родителям и детям получить доступ к дополнительной информации и помощь, если они окажутся в небезопасной ситуации. Siri и Поиск также вступят в действие, если пользователь будет искать темы, относящиеся в CSAM.

(CSAM означает Child Sexual Abuse Material — то есть детская порнография. Люди, знакомые с этим термином, произносят его как see-sam. Еще одно сокращение, которые нужно знать: NCMEC — nick-meck — National Center for Missing and Exploitede Childred (Национальный центр пропавших и эксплуатируемых детей). Это некоммерческая организация, основанная и финансируемая правительством США, которая поддерживает базу данных известных CSAM).
Прим. пер. Формально если переводить Child Sexual Abuse Material, получается сложная конструкция типа Материалы, содержащие сцены сексуального насилия над детьми. Ну, или “Материалы сексуального насилия над детьми”. Короче, я решил по тексту оставить просто CSAM.

Третья инициатива — обновления к Siri и Поиску — самые простые в понимании, и, я думаю, бесспорные. Первые две, однако, похоже, не очень хорошо поняты, и, не без основания, получили значительную долю внимания со стороны сторонников приватности.

Мой первый совет — прочитать высокоуровневое описание функций у Apple, которое заканчивается ссылками на детальную техническую документацию касательно шифрования и других методов, которые Apple использует в своей реализации, и “технические заключения” от трех лидирующих исследователей в области криптографии и компьютерного видения.

Функция для приложения Сообщений относится только к детям, которые прописаны в общем семейном аккаунте iCloud. Если вы уже не ребенок, для вас уже ничего не изменится касательно любых фотографий, которые вы отправляете или получаете через Сообщения. А если вы родитель детей, к которым эта функция может быть применена, вам надо будет добровольно включить эту функцию. Она не включится автоматически, когда устройства обновятся до iOS 15. Если ребенок отправляет или получает (или решит просмотреть) изображение, которое вызывает предупреждение, уведомление будет отправлено с устройства ребенка на устройства родителей — Apple не получит никаких предупреждений, как и никакие правоохранительные органы их тоже не получат. Эти уведомления родителей только для детей 12 лет или младше, прописанных в семейной учетке iCloud; у родителей нет возможности получать подобные уведомления для подростков, хотя подростки могу получать предупреждения о контенте на своих устройствах.

Также стоит отменить, что это функция приложения Сообщения, а не сервиса iMessage. Это означает, что функция относится к сообщениям, которые отправлены или получены через SMS, а не только через iMessage. Но более важно, что это никак не меняет сквозное шифрование, которое доступно в сервисе iMessage. Обработка изображений для определения изображений откровенно сексуального характера происходит до (для отправки) или после (для получения) конечных точек. Эта функция выглядит хорошей без особых недостатков (EFF не согласны).

Обнаружение CSAM для iCloud Photo Library является более сложным, деликатным и спорным вопросом. Но это относится только к изображениям, отправляемым в iCloud Photo Library. Если вы не используете iCloud Photo Library, никакие изображения на ваших устройствах не получат отпечатки. Но, конечно же, большинство из нас используют iCloud Photo Library.

Я упоминал выше, что сама страница “Безопасность детей” для этих новых функций содержит ссылки на технические заключения сторонних экспертов. В частности, мне показалось, что описание обнаружения CSAM от Бенни Пинкас — исследователя безопасности университета Бен-Илан в Израиле — было вразумительным:

Я занимаюсь исследованиями криптографии более 25 лет. Я инициировал прикладные исследования по сохранению конфиденциальности вычислений —  области криптографии, которая позволяет нескольким участникам выполнять вычисления, скрывая при этом свои личные входные данные. В частности, я был первым, кто исследовал тему пересечения частных множеств (private set intersection — PSI).

Система PSI у Apple решает очень сложную проблему обнаружения фотографий, содержащих контент CSAM, сохраняя при этом содержимое всех фотографий, не содержащих CSAM, в зашифрованном и конфиденциальном виде. Фотографии анализируются только на устройствах пользователей. Каждая фотография сопровождается ваучером безопасности, который включает в себя информацию о фотографии, защищенную двумя слоями шифрования. Эта информация включает в себя NeuralHash и визуальную производную фотографии. Только если облачный сервис Apple обнаружит, что пользователь пытается загрузить значительное количество фотографий с контентом CSAM, информация, связанная с конкретно этими фотографиями может быть открыта облаком. Если пользователь загружает менее заданного порогового количества фотографий, содержащих контент CSAM, то информация, связанная со всеми фотографиями этого пользователя, хранится в зашифрованном виде, даже если некоторые из этих фотографий содержат CSAM. Важно отметить, что никакая информация о контенте, отличном от CSAM, не может быть раскрыта системой Apple PSI. […]

Дизайн сопровождается доказательствами, которые я оценил и подтвердил.

По очевидным причинам эта функция не является опциональной. Если вы используете iCloud Photo Library, изображения в вашей библиотеке пройдут через этот фингерпринтинг (создание цифрового отпечатка — дальше я буду использовать для упрощения термин “отпечаток”). (Это включает в себя изображения, уже находящиеся в вашей iCloud Photo Library, а не только недавно загруженные изображения после выхода функции в этом году.) Чтобы отказаться от этой сверки цифровых отпечатков, вам нужно отключить iCloud Photo Library.

Большим источником путаницы, похоже, является то, что влечет за собой цифровой отпечаток. Создание этого отпечатка не является контент-анализом. Это не определение того, что на фотографии. Это метод назначения уникальных идентификаторов — по сути, длинные числа — фотографиям таким образом, чтобы создать один и тот же идентификатор, если одно и то же изображение обрезано, изменено или даже изменено с цвета на оттенки серого. Это не способ определить, являются ли две фотографии (локальная фотография пользователя и изображение в базе данных CSAM от NCMEC) на ту же тему – это способ определить, являются ли они двумя версиями одного и того же изображения. Если я сфотографирую, скажем, свою машину, и вы сфотографируете мою машину, изображения не должны создавать один и тот же отпечаток, даже если это фотографии одного и того же автомобиля в одном и том же месте. И так же, как реальные отпечатки пальцев не могут быть спроектированы назад, чтобы определить, как выглядит человек, к которому они принадлежат, эти отпечатки фотографий не могут быть отпроектированы назад, чтобы определить что-либо вообще в предмете фотографий.

Функция детекции в приложении Сообщения для детей в семейных учетках iCloud анализирует контент, чтобы попытаться определить откровенные сексуально фотографии, но эта функция не сверяет хэши изображений с базой данных отпечатков CSAM.

Обнаружение CSAM в изображениях, загруженных в iCloud Photo Library, не осуществляет анализ контента и только проверяет хэши отпечатков фотографий по базе известных отпечатков CSAM. Популярный невинный пример: если у вас есть фотографии ваших детей в ванной или иным образом играющих состоянии неодетости, не будет никакого анализа контента, который бы попытался обнаружить, что “это фотография раздетого ребенка”. Отпечатки с изображений похожего контента сами по себе не похожи. Две фотографии одного и того же предмета должны производить совершенно разные отпечатки. Отпечатки ваших фотографий ваших же детей совпадут с отпечатком изображения в базе данных CSAM NCMEC с такой же вероятностью, как фотография заката или рыбы.

Этот набор данных будет частью iOS 15 и представляет собой базу данных отпечатков, а не изображений. Apple не хранит изображения в библиотеке известных CSAM, и на самом деле даже не может – NCMEC является единственной организацией в США, которой по закону разрешено иметь эти фотографии.

Если вы не используете iCloud Photo Library, ничего из этого не относится к вам. Если вы используете iCloud Photo Library, это обнаружение применяется только к тем изображениям в вашей медиатеке, которые синхронизируются с iCloud.

Более того, одного совпадения недостаточно, чтобы инициировать какое-либо действие. Существует некий «порог» — определенное количество совпадений с базой данных CSAM — который должен быть достигнут. Apple не раскрывает, что это за пороговое число, но для примера допустим, этот порог равен 10. С 10 или меньшим количеством совпадений ничего не происходит, и ничего не может произойти на стороне Apple. Только после 11 совпадений (порог + 1) Apple получит предупреждение. Даже в этом случае кто-то из Apple проведет расследование, изучив содержание ваучеров безопасности, которые будут сопровождать каждую фотографию в Медиатеке iCloud. Эти ваучеры шифруются таким образом, что их можно расшифровать на стороне сервера, только если было достигнуто пороговое значение + 1. Из собственного описания Apple:

Используя еще одну технологию, которая называется пороговым доступом к секрету, система гарантирует, что содержимое ваучеров безопасности не может быть интерпретировано Apple, если учетная запись iCloud Photo не перейдет порог известного контента CSAM. Порог установлен для обеспечения чрезвычайно высокого уровня точности и обеспечивает менее одного триллиона шансов в год неправильно пометить данную учетную запись.

Даже если ваша учетная запись – против всех этих один на триллион шансов, если расчеты Apple верны – неправильно помечена как превысившая порог, кто-то из Apple изучит содержимое ваучеров безопасности для этих помеченных изображений, прежде чем сообщать об инциденте в правоохранительные органы. Apple криптографически может проверять ваучеры безопасности только для тех изображений, чьи отпечатки совпадают с элементами в базе данных CSAM. Ваучеры включают в себя «визуальную производную» изображения — по сути, изображения в более низком разрешении. Если каким-то образом оказались неправильно помечены невинные фотографии, проверяющие в Apple должны заметить это.
–

Все эти функции справедливо сгруппированы в группу «безопасность детей», но я не могу не задаться вопросом, не было ли ошибкой объявлять их все сразу вместе. Многие люди явно путают и смешивают их, в том числе те, кто пишет об этой инициативе в СМИ. Например, статья Рида Альберготти в The Washington Post c фразой «Никогда не встречала историю Apple, которая бы выглядела в худшем свете» — первые три абзаца которых просто неверны(1), а заголовок тоже очень некорректен («Apple заглядывает в iPhone, чтобы найти сексуальных хищников, но активисты конфиденциальности беспокоятся о том, что правительства могут вооружить эту функцию»).

Также стоит отметить, что сопоставление хэшей отпечатков с базой данных NCMEC уже происходит в других крупных облачных сервисах и социальных сетях. Из статьи The New York Times об инициативе Apple:

Законодательство США требует, чтобы технологические компании отмечали случаи сексуального насилия над детьми для властей. Apple в прошлом отмечала меньше случаев, чем другие компании. Например, в прошлом году Apple сообщила о 265 случаях в Национальный центр пропавших и эксплуатируемых детей, в то время как Facebook сообщила о 20,3 миллионах, согласно статистике центра. Этот огромный пробел отчасти объясняется решением Apple не сканировать такие материалы, ссылаясь на конфиденциальность своих пользователей.

Разница между тем, что есть сейчас, и новыми функциями заключается в том, что Apple будет сопоставлять отпечатки базы данных NCMEC на стороне клиента, а не сервера. Но я подозреваю, что другие последуют этому примеру, включая Facebook и Google, с сопоставлением отпечатков на стороне клиента для сквозных зашифрованных сервисов. Выполнить это на стороне сервера невозможно ни с одним сервисом E2EE – между конечными точками отправителя и получателя сервер не имеет возможности расшифровать изображения со сквозным шифрованием.

Что, в свою очередь, заставляет меня задуматься, не рассматривает ли Apple эту инициативу как необходимый первый шаг к обеспечению сквозного шифрования для резервных копий iCloud Photo Library и резервных копий устройств в iCloud. Apple уже давно шифрует все данные iCloud, которые могут быть зашифрованы(2) как в процессе передачи, так и хранящиеся на сервере, но резервные копии устройств, фотографии и iCloud Drive являются одними из тех компонентов, которые не зашифрованы полностью. У Apple есть ключи для их расшифровки, и правоохранительные органы могут заставить их сделать это.

В январе 2020 года агентство Reuters сообщило, что Apple в 2018 году отказалась от планов по использованию сквозного шифрования для резервного копирования iCloud по приказу ФБР:

Apple Inc. отказалась от планов разрешить пользователям iPhone полностью шифровать резервные копии своих устройств в iCloud после того, как ФБР пожаловалось, что этот шаг нанесет ущерб расследованиям, сообщили Reuters шесть источников, знакомых с этим вопросом.
О таком отказе технологического гиганта около двух лет назад ранее не сообщалось. Это показывает, насколько Apple готова помочь правоохранительным и разведывательным органам США, несмотря на то, что заняла более жесткую позицию в громких юридических спорах с правительством и позиционирует себя в качестве защитника информации своих клиентов.

Является ли статья Reuters о том, что Apple поддалась давлению ФБР в вопросе перевода резервных копий iCloud на сквозное ширование, соответствующей действительности или нет, я не знаю, но я знаю, что защитники конфиденциальности (включая меня) хотели бы, чтобы Apple включила сквозное шифрование для всего содержимого в iCloud, и что правоохранительные органы по всему миру против этого. Это сопоставление отпечатков для CSAM может проложить путь к некому компромиссу, если Apple в будущем анонсирует сквозное шифрование фотографий и резервных копий iCloud. В таком сценарии Apple не будет иметь криптографической возможности передавать ваши резервные копии или всю библиотеку фотографий кому-либо. Но они смогут помечать и сообщать об учетных записях iCloud, чьи фотобиблиотеки превышают порог для совпадений отпечатков базы данных CSAM, включая «визуальные производные» соответствующих фотографий – и все это без того, чтобы Apple могла видеть ваши фотографии в iCloud.

Также возможно, что Apple навсегда отложила планы по использованию сквозного шифрования для всех данных iCloud. Неудивительно: они, как обычно, ничего не говорят. Но мне кажется весьма правдоподобным, что Apple рассматривает это обнаружение CSAM, защищающее конфиденциальность, как необходимый первый шаг к расширению использования сквозного шифрования.

–
Подитоживая, если эти функции работают так, как описано, и только так, как описано, почти нет причин для беспокойства. В интервью для The New York Times для вышеупомянутой статьи об этой инициативе Эрик Нойеншвандер, главный инженер Apple по конфиденциальности, сказал: «Если вы храните коллекцию материалов CSAM, да, это плохо для вас. Но для остальных из вас это ничем не отличается». Судя по всему, это справедливо и верно.

Но вот в этом «если» в формулировке «если эти функции работают так, как описано и только так, как описано» – как раз и находится главная закавыка. Это «если» – ключевой момент. Если вы отбросите паникерство со стороны критиков этой инициативы, которые явно не понимают, как работают эти функции, у вас все равно останутся вполне обоснованные опасения от заслуживающих доверия экспертов о том, как этими функциями могут злоупотреблять или применять их не по назначению в будущем.

Что произойдет, например, если Китай потребует, чтобы он мог предоставлять свою собственную базу отпечатков изображений для использования с этой системой – базу данных, которая, вероятно, будет включать изображения, связанные с политическим инакомыслием. Танковый человек, скажем, или любой из замечательных наборов сравнений, показывающих поразительное сходство Си Цзиньпина с Винни-Пухом.

Этот аргумент о скользком пути является вполне обоснованным беспокойством. Ответ Apple заключается в том, что они откажутся. Опять же, из отчета Джека Никаса для The Times:

Мистер Грин сказал, что беспокоится о том, что такой системой можно злоупотребить, потому что она показала правоохранительным органам и правительствам, что у Apple теперь есть способ пометить определенный контент на телефоне, сохраняя при этом шифрование. Ранее Apple утверждала властям, что шифрование не позволяет ей получить определенные данные.

«Что произойдет, когда другие правительства просят Apple использовать это для других целей?» спросил Грин. «Что скажет Apple?»

Мистер Нойеншвандер отклонил эти опасения, заявив, что есть в системе есть меры для предотвращения злоупотребления системой, и что Apple отклонит любые подобные требования правительства.

“Мы сообщим им, что мы построили не то, о чем они думают”, – сказал он.

Будет ли Apple на самом деле категорически отказываться от подобных требований? Если да — все хорошо. Если они этого не смогут отказаться, и эти функции пролезут в мониторинг таких вещей, как политическое инакомыслие, нарушение авторских прав, ЛГБТ-изображения или взрослая порнография – что-либо, что вообще выходит за рамки совершенно определенного контента с сексуальным насилием над детьми – это окажется катастрофическим для репутации Apple в области защиты конфиденциальности. EFF, похоже, считает такое скольжение по склону неизбежным.

Посмотрим. Ставки невероятно высоки, и Apple это знает. Что бы вы ни думали о решении Apple внедрить эти функции, они делают это не просто так, не обдумав все.

Сноски
1. Вступление дословно из текста Альберготти:

В четверг Apple представила новый набор программных средств, который будет сканировать iPhone и другие устройства на предмет детской порнографии и текстовые сообщения с откровенным контентом и сообщать властям, о пользователях, подозреваемых в хранении незаконных изображений на своих телефонах.

Неправильно. Единственные фотографии, о которых может быть сообщено властям — это те, которые отправляются в iCloud. «Сканированные» — это вводящий в заблуждение глагол. И вся функция «текстовые сообщения» предназначена только для детей в общих семейных учетных записях iCloud. Подводка паникера Альберготти звучит так, как будто весь контент для всех пользователей в Сообщениях будет «просканирован», в то время как на самом деле ничто, отправленное взрослому пользователю в Сообщениях или от него, никогда не будет «просканировано», если только изображение не будет сохранено из Сообщений в Фото библиотеку и не включена iCloud Photo Library.

Агрессивный план по пресечению деятельности детских хищников и педофилов и запрета им использовать сервисы Apple для незаконной деятельности противопоставляет технологического гиганта активистам гражданских свобод и, похоже, противоречит некоторым его собственным давним утверждениям о конфиденциальности и о том, как компания взаимодействует с правоохранительными органами.

Как было объявлено, ни одна из этих функций не противоречит ни одному из «давних утверждений» Apple.

Этот шаг также поднимает новые вопросы о природе смартфонов и о том, кто действительно владеет компьютерами в наших карманах. Новое программное обеспечение будет выполнять сканирование на устройствах их пользователей без их ведома или явного согласия и потенциально поставит под юридическую угрозу невинных пользователей.

Ничто из вышеперечисленного не вызывает никаких вопросов о том, кому принадлежит ваш iPhone. Из него следует, что Apple владеет серверами iCloud, но изображения на iPhone, которые не синхронизируются с iCloud iCloud Library, никогда не будут иметь отпечатков. Предупреждения о содержимом в приложении Сообщения для детей требуют явной активации со стороны пользователя, как и синхронизация с iCloud Photo Library. Если криптографическая математика Apple не содержит катастрофической ошибки, крайне маловероятно, что фотографии невинных пользователей когда-либо будут помечены, и даже если они помечены как превышение порога для совпадений отпечатков CSAM, Apple проведет ручную проверку, прежде чем что-либо будет сообщено правоохранительным органам.

Трудно представить себе вступление из трех пунктов, которое более драматично вводит в заблуждение, чем Альберготти в этой статье.

2. Исключение составляет электронная почта IMAP, которая шифруется при передаче между клиентом и сервером, но не хранится в зашифрованном на сервере, потому что именно так был разработан IMAP. Короче говоря, электронная почта, вероятно, наименее безопасный сервис обмена сообщениями, который вы используете. Если есть что-то, что вы не готовы зафиксировать на бумаге и отправить по обычной почте, то не стоит и отправлять это по электронной почте.

======

Вот такой материал. Я лично для себя узнал новое о механизмах шифрования и дешифрования контента, и я готов согласиться на подобный фингерпринтинг, если это позволит получить полностью зашифрованный бэкап iCloud, например. Но есть некая ирония в том, что Apple решила перенести уже имеющуюся проверку изображений из облака в устройства пользователей, считая, что это сделает такую проверку более приватной. В итоге введя в уравнение совершенно другие и потенциально даже более серьезные риски.

Дополнительно хочу еще добавить, что вопрос доверия к базе хэшей решается наличием некой третьей стороны, которая могла бы проверять, что в хэшах находится именно то, что там должно находиться. И такой механизм, кажется, даже существует, хотя, конечно, в этом месте мы выходим на новый круг доверия к третьей стороне, и так дальше.