Агентство пограничной службы Канады планирует внедрить приложение, использующее технологию распознавания лиц для отслеживания людей, которым было приказано депортироваться из страны.
Мобильное приложение для отчетности будет использовать биометрические данные для подтверждения личности человека и регистрировать данные о его местоположении, когда он использует приложение для регистрации. Документы, полученные в результате доступа к информации, указывают на то, что CBSA предложило такое приложение еще в 2021 году.
Представитель компании подтвердил, что приложение ReportIn будет запущено этой осенью.
Эксперты отмечают многочисленные опасения, ставя под сомнение действительность согласия пользователя и потенциальную секретность того, как технология принимает решения.
Ежегодно около 2000 человек, которым было приказано покинуть страну, не являются, а это означает, что CBSA «приходится тратить значительные ресурсы на расследование, поиск и в некоторых случаях задержание этих клиентов», говорится в документе 2021 года.
Агентство представило приложение для смартфона как «идеальное решение».
Регулярное получение обновлений через приложение по «адресу проживания, месту работы, семейному положению и другим данным человека позволит CBSA иметь соответствующую информацию, которую можно использовать для связи с клиентом и его мониторинга на предмет любых ранних признаков несоблюдения требований», — говорится в сообщении.
«Кроме того, учитывая автоматизацию, клиент, скорее всего, почувствует себя вовлеченным и осознает уровень осведомленности CBSA о его деле».
Кроме того, в документе отмечено: «Если клиент не явится для высылки, информация, собранная с помощью приложения, предоставит надежные следственные зацепки для поиска клиента».
В оценке алгоритмического воздействия проекта, пока не опубликованной на веб-сайте федерального правительства, говорится, что биометрическая голосовая технология, которую пыталось использовать CBSA, постепенно прекращает свое существование из-за «неэффективности технологии», и для ее замены было разработано приложение ReportIn.
В нем говорится, что «биометрические данные лица и местоположение человека, предоставляемые датчиками и/или GPS на мобильном устройстве/смартфоне» регистрируются через приложение ReportIn, а затем отправляются во внутреннюю систему CBSA.
Электронная почта, которая вам нужна для получения главных новостей дня из Канады и со всего мира.
Получайте ежедневные национальные новости
Получайте главные новости дня, политические, экономические и текущие события на свою электронную почту один раз в день.
После того, как люди отправят фотографии, «алгоритм сравнения лиц» даст оценку сходства с эталонной фотографией.
Если система не подтверждает совпадение лиц, она запускает процесс расследования дела сотрудниками полиции.
«Местоположение лиц также собирается каждый раз, когда они сообщают об этом, и если лицо не выполняет свои условия», — говорится в документе. В документе отмечается, что лица не будут «постоянно отслеживаться».
Приложение использует технологию Amazon Web Services. Этот выбор привлек внимание Бренды Макфэйл, директора по образованию руководителей в программе государственной политики в цифровом обществе Университета Макмастера.
Она отметила, что, хотя многие компании, занимающиеся распознаванием лиц, отправляют свои алгоритмы на тестирование в Национальный институт стандартов и технологий США, Amazon никогда добровольно этого не делала.
Представитель Amazon Web Services заявил, что технология Amazon Rekognition «прошла тщательное тестирование, в том числе сторонними организациями, такими как Credo AI, компания, специализирующаяся на ответственном ИИ, и iBeta Quality Assurance».
Представитель добавил, что Amazon Rekognition — это «крупномасштабная облачная система, и поэтому ее нельзя загрузить, как описано в руководстве по участию NIST».
«Именно поэтому наша технология Rekognition Face Liveness была отправлена на тестирование на соответствие отраслевым стандартам в лабораторию iBeta», которая аккредитована институтом как независимая испытательная лаборатория, сказал представитель.
В документе CBSA говорится, что используемый алгоритм будет коммерческой тайной. В ситуации, которая может иметь последствия, меняющие жизнь, Макфэйл задался вопросом, «целесообразно ли использовать инструмент, защищенный коммерческой тайной или частной тайной, и который лишает людей права понимать, как на самом деле принимаются решения относительно них».
Кристен Томасен, доцент и заведующая кафедрой права, робототехники и общества в Университете Виндзора, заявила, что ссылка на коммерческую тайну является сигналом о том, что могут существовать правовые препятствия, блокирующие информацию о системе.
Она пояснила, что на протяжении многих лет существует обеспокоенность тем, что людям, подверженным ошибкам в системах, будет запрещено получать дополнительную информацию из-за защиты прав интеллектуальной собственности.
Представитель CBSA Мария Ладусер заявила, что агентство «разработало это приложение для смартфонов, чтобы позволить иностранным гражданам и постоянным резидентам, на которых распространяются условия иммиграционного контроля, сообщать о себе без личного посещения офиса CBSA».
Она сказала, что агентство «работало в тесном сотрудничестве» с Управлением комиссара по вопросам конфиденциальности над приложением. «Регистрация в ReportIn будет добровольной, и пользователи должны будут дать согласие как на использование приложения, так и на использование их образа для подтверждения их личности».
Петра Молнар, заместитель директора лаборатории права беженцев Йоркского университета, заявила, что существует дисбаланс сил между агентством, реализующим приложение, и людьми, которые его получают.
«Может ли человек действительно, по-настоящему согласиться в этой ситуации, когда существует огромная разница в силе?»
По словам Ладусера, если человек не согласен участвовать, он может в качестве альтернативы явиться лично.
Томасен также предупредил, что существует риск ошибок в технологии распознавания лиц, и этот риск выше для лиц с расовой принадлежностью и людей с более темной кожей.
Молнар сказал, что «крайне тревожно, что в документах практически не обсуждается… влияние на права человека».
Представитель CBSA сообщил, что Credo AI проверила программное обеспечение на предмет предвзятости по отношению к демографическим группам и обнаружила 99,9-процентный уровень совпадения лиц в шести различных демографических группах, добавив, что приложение «будет постоянно тестироваться после запуска для оценки точности и производительности».
Окончательное решение будет принимать человек, а должностные лица будут контролировать все заявки, однако эксперты отметили, что люди склонны доверять решениям, вынесенным технологиями.
Томасен сказал, что существует «довольно широко признанная… психологическая тенденция людей полагаться на экспертизу компьютерной системы», когда компьютерные системы воспринимаются как менее предвзятые или более точные.