Ассоциация полиция Их ждет очень блестящее будущее – и не только потому, что теперь они могут искать потенциальных подозреваемых в Google. Поскольку они используют новейшие технологии, их работа обязательно станет проще и эффективнее, поднимая острые вопросы о конфиденциальности, гражданских свободах и надлежащей правовой процедуре.

Во-первых, полиция имеет хорошие возможности для получения прибыли от "большие данные". Поскольку стоимость записывающих устройств продолжает падать, теперь можно выявлять преступления и реагировать на них в режиме реального времени. Рассмотрим такой город, как Окленд в Калифорнии. Как и многие другие американские города, сегодня он покрыт сотнями скрытых микрофонов и датчиков, Часть системы, известной как ShotSpotter, которая не только предупреждает полицию о звуках выстрелов, но и триангулирует их местоположение. Убедившись, что звуки действительно являются выстрелами, человек-оператор затем сообщает об этом полиции.

Нетрудно представить способы улучшения такой системы, как ShotSpotter. Системы обнаружения выстрелов, в принципе, являются реактивными; они могут помочь предотвратить или быстро отреагировать на преступление, но они не искоренят это. Снижение затрат на вычисления, значительный прогресс в сенсорных технологиях и возможность использования обширных онлайн-баз данных позволяют нам перейти от выявления преступлений по мере их совершения (что и делает сейчас ShotSpotter) к их прогнозированию до того, как они произойдут.

Вместо обнаружения выстрелов новые и более умные системы могут сосредоточиться на обнаружении звуков, которые предшествовали выстрелам в прошлом. Именно здесь методы и идеологии больших данных снова появляются, обещая, что более глубокий и глубокий анализ данных о прошлых преступлениях в сочетании со сложными алгоритмами сможет предсказать – и предотвратить – будущие. Это практика, известная как «предсказующая полицейская деятельность», и хотя ей всего несколько лет, многие рекламируют ее как революцию в работе полиции. Это воплощение решеничества; Едва ли можно найти лучший пример того, как технологии и большие данные можно использовать для решения проблемы преступности, просто полностью искоренив преступность. Все это кажется слишком простым и логичным; кто не хотел бы предотвратить преступление до того, как оно произойдет?

Полицию в Америке особенно волнует то, что представляет собой превентивная полицейская деятельность – одна из Время лучшие изобретения журнала 2011 года – что может предложить; Европейцы также медленно догоняют, во главе с Великобританией. Возьмем, к примеру, Департамент полиции Лос-Анджелеса (LAPD), который использует программное обеспечение под названием ПредПол. Программное обеспечение анализирует многолетнюю ранее опубликованную статистику о преступлениях против собственности, таких как кражи со взломом и угоны автомобилей, и разбивает карту патрулирования на 500.?sq?футов зон, вычисляет историческое распределение и частоту реальных преступлений в них, а затем сообщает офицерам, какие зоны следует контролировать более энергично.

Гораздо лучше – и потенциально дешевле – предотвратить преступление до того, как оно произойдет, чем опоздать и расследовать его. Таким образом, хотя патрульные офицеры могут и не поймать преступника в действии, их присутствие в нужном месте в нужное время все же помогает сдерживать преступную деятельность. Однако иногда полиция действительно может сорвать продолжающееся преступление. В июне 2012 года агентство Associated Press сообщило о капитане полиции Лос-Анджелеса, который не был уверен, что отправка офицеров в зону сетки на краю его зоны действия – по рекомендации PredPol – была такой уж хорошей идеей. Его офицеры, как и ожидал капитан, ничего не нашли; однако, когда они вернулись несколько ночей спустя, они поймали кого-то, разбившего окно. Набери один балл за ПредПол?

Испытания PredPol и подобного программного обеспечения начались слишком недавно, чтобы говорить о каких-либо убедительных результатах. Тем не менее, промежуточные результаты выглядят весьма впечатляюще. В Лос-Анджелесе пять подразделений полиции Лос-Анджелеса, которые используют его для патрулирования территории, населенной примерно 1.3 миллиона человек, добились снижения уровня преступности на 13%. В городе Санта-Крус, где теперь также используется PredPol, количество краж со взломом снизилось почти на 30%. Подобную воодушевляющую статистику можно найти и во многих других полицейских управлениях Америки.

Другие мощные системы, которые сейчас создаются, также могут быть легко переконфигурированы в соответствии с более прогнозирующими требованиями. Рассмотрим последнее нововведение Департамента полиции Нью-Йорка – так называемую Система осведомленности о домене – который синхронизирует записи с 3,000 городских камер видеонаблюдения с записями об арестах, звонками в службу 911, технологией распознавания номерных знаков и детекторами радиации. Он может отслеживать ситуацию в режиме реального времени и использовать множество данных, чтобы понять, что происходит. Отсюда шаг к предсказанию того, что может произойти, не так уж и велик.

Если «предсказание» PredPol звучит знакомо, то это потому, что его методы были вдохновлены методами известных интернет-компаний. Запись в Начальник полиции журнал в 2009 году, старший офицер полиции Лос-Анджелеса. высоко оценил способности Amazon «понять уникальные группы в их клиентской базе и охарактеризовать их модели покупок», что позволяет компании «не только предвидеть, но и продвигать или иным образом формировать будущее поведение». Таким образом, точно так же, как алгоритмы Amazon позволяют предсказать, какие книги вы, скорее всего, купите в следующий раз, аналогичные алгоритмы могут сообщить полиции, как часто и где определенные преступления могут повторяться. Вы когда-нибудь крали велосипед? Тогда вас также может заинтересовать ограбление продуктового магазина.

Здесь мы сталкиваемся с извечной проблемой алгоритмов: их предполагаемой объективностью и вполне реальным отсутствием прозрачности. Мы не можем исследовать алгоритмы Amazon; они полностью непрозрачны и не подлежат внешнему контролю. Amazon утверждает, и, возможно, правильно, что секретность позволяет ей оставаться конкурентоспособной. Но можно ли применить ту же логику к полиции? Если никто не сможет изучить алгоритмы (что, скорее всего, так и произойдет, поскольку программное обеспечение для прогнозирующей полиции будет создаваться частными компаниями), мы не узнаем, какие предубеждения и дискриминационные практики заложены в них. Алгоритмы все больше доминируют во многих других частях нашей правовой системы; например, они также используются для прогнозирования вероятности того, что определенный преступник, получив условно-досрочное освобождение или испытательный срок, убьет или будет убит. Этот алгоритм, разработанный профессором Пенсильванского университета, был протестирован в Балтиморе, Филадельфии и Вашингтоне. Такая вероятностная информация может затем повлиять на рекомендации по приговору и размеру залога, так что это вряд ли тривиально.

Но откуда нам знать, что алгоритмы, используемые для прогнозирования, не отражают предубеждений их авторов? Например, преступность, как правило, происходит в бедных и расово разнообразных регионах. Могут ли алгоритмы – с их предполагаемой объективностью – санкционировать еще большее расовое профилирование? Сегодня в большинстве демократических режимов полиции нужна веская причина – какие-то доказательства, а не просто догадки – чтобы останавливать людей на улице и обыскивать их. Но сможет ли полиция, вооружившись таким программным обеспечением, просто сказать, что алгоритмы приказали ей это сделать? И если да, то как алгоритмы будут давать показания в суде? Техноутописты, вероятно, проигнорируют такие вопросы и сосредоточатся на абстрактных преимуществах, которые может предложить алгоритмическая полицейская деятельность; Техноскептики, которые начинают с некоторых базовых знаний о проблемах, ограничениях и предубеждениях, которые уже пронизывают современную полицию, вероятно, будут более критичны.

Ученый-правовед Эндрю Гатри Фергюсон подробно изучил прогнозирующую полицейскую деятельность. Фергюсон предостерегает от слишком большого доверия к алгоритмам и поддающихся редукционизму информации. «Прогностические алгоритмы — это не волшебные ящики, предсказывающие будущие преступления, а скорее вероятностные модели будущих событий, основанные на текущих уязвимостях окружающей среды», — отмечает он.

Но почему они работают? Фергюсон отмечает, что в будущем преступность будет не потому, что преступления были в прошлом, а потому, что «экологическая уязвимость, которая способствовала первому преступлению, до сих пор не решена». Когда полицейские, прочитав мрачный прогноз об очередном запланированном угоне автомобиля, увидят в одной из прогнозируемых зон человека с отверткой, это может дать обоснованное подозрение для остановки. Но, как отмечает Фергюсон, если полиция арестовала банду, ответственную за предыдущие преступления, накануне, но модель еще не отражает эту информацию, то прогноз не имеет значения, и полиции понадобятся какие-то другие разумные основания для остановки человека. Если они остановятся, то они не смогут сказать в суде: «Нам сказала это модель». Однако это может быть неочевидно для человека, которого остановили, поскольку он не знаком с программным обеспечением и его алгоритмами.

Кроме того, существует проблема недостаточной регистрации преступлений. Хотя о большинстве убийств сообщается, о многих изнасилованиях и взломах домов нет. Даже в отсутствие таких сообщений местная полиция все еще находит способы узнать, когда в их районе происходит что-то странное. С другой стороны, предиктивная полицейская деятельность может заменить такое интуитивное знание наивной верой во всеобъемлющую силу статистики. Если для прогнозирования будущих преступлений и руководства работой полиции будут использоваться только данные о зарегистрированных преступлениях, некоторые виды преступлений могут остаться неисследованными и, следовательно, нерасследованными.

Что тогда делать с алгоритмами? В наши дни это редкость, но у финансового сектора есть чему поучиться в этом отношении. Например, после нескольких катастроф, вызванных алгоритмической торговлей в августе 2012 года, финансовые власти Гонконга и Австралии подготовили предложения по организации регулярных независимых проверок проектирования, разработки и модификации компьютерных систем, используемых для алгоритмической торговли. Таким образом, так же, как финансовые аудиторы могут подтвердить баланс компании, алгоритмические аудиторы могут проверить, в порядке ли ее алгоритмы.

По мере того, как алгоритмы все больше внедряются в нашу повседневную жизнь – от Google Autocomplete до PredPol – кажется разумным подвергать их регулярным расследованиям квалифицированными и, в идеале, общественно ориентированными третьими лицами. Одним из преимуществ решения по аудиту является то, что оно не требует от проверяемых компаний публичного раскрытия своих коммерческих секретов, что было основным возражением (конечно, высказанным компаниями-разработчиками программного обеспечения) против повышения прозрачности их алгоритмов.

Полиция также находит влиятельных союзников в Кремниевой долине. Такие компании, как Facebook, начали использовать алгоритмы и исторические данные, чтобы предсказать, кто из их пользователей может совершить преступление, используя их сервисы. Вот как это работает: собственные системы прогнозирования Facebook могут помечать определенных пользователей как подозрительных, изучая определенные поведенческие сигналы: пользователь пишет сообщения только тем, кому меньше 18 лет; большая часть контактов пользователя — женщины; пользователь вводит ключевые слова, такие как «секс» или «свидание». Затем сотрудники могут изучить каждый случай и при необходимости сообщить о пользователях в полицию. Обеспокоенность Facebook своим собственным брендом здесь очевидна: никто не должен думать, что платформа укрывает преступников.

В 2011 году Facebook начал использовать PhotoDNA, сервис Microsoft, который позволяет сканировать каждое загруженное изображение и сравнивать его с изображениями детской порнографии из Национальный центр криминальной информации ФБР. С тех пор он расширил свой анализ и за пределы изображений. В середине 2012 г. Reuters сообщило о том, как Facebook, вооруженный своими алгоритмами прогнозирования, задержал мужчину средних лет, болтавшего о сексе с 13-летней девочкой, и договорился о встрече с ней на следующий день. Полиция связалась с девочкой, завладела ее компьютером и поймала мужчину.

Facebook здесь находится на переднем крае алгоритмического наблюдения: точно так же, как полицейские управления опираются на более раннюю статистику преступности, Facebook опирается на архивы реальных чатов, которые предшествовали реальным сексуальным нападениям. Любопытно, что Facebook оправдывает использование алгоритмов, утверждая, что они менее навязчивы, чем люди. «Мы никогда не хотели создавать среду, в которой наши сотрудники будут следить за частными сообщениями, поэтому очень важно, чтобы мы использовали технологию с очень низким уровнем ложноположительных результатов», — сказал Reuters руководитель службы безопасности Facebook.

Трудно подвергнуть сомнению применение таких методов для поимки сексуальных хищников, охотящихся на детей (не говоря уже о том, что у Facebook здесь может быть мало выбора, поскольку действующие законы США о защите детей требуют, чтобы онлайн-платформы, используемые подростками, были бдительны в отношении хищников). Но следует ли разрешить Facebook предсказывать какие-либо другие преступления? В конце концов, он может легко заниматься многими другими видами подобной полицейской работы: обнаружением потенциальных торговцев наркотиками, выявлением потенциальных нарушителей авторских прав (Facebook уже запрещает своим пользователям делиться ссылками на многие сайты обмена файлами) и, особенно после Беспорядки 2011 года в Великобритании, предсказывающие следующее поколение нарушителей спокойствия. И по мере того, как такие данные становятся доступными, искушение использовать их становится практически непреодолимым.

Это искушение проявилось в полной мере после беспорядков в кинотеатре Колорадо в июне 2012 года, когда изолированный преступник устроил серию убийств, убив 12 человек. Заголовок, появившийся в Wall Street Journal вскоре после стрельбы все сказано: "Может ли интеллектуальный анализ данных остановить убийства?«Положительный ответ на этот вопрос не займет много времени.

Во многих отношениях интернет-компании находятся в гораздо лучшем положении для прогнозирования преступлений, чем полиция. Там, где последним нужен ордер на оценку чьих-либо личных данных, такие компании, как Facebook, могут искать данные своих пользователей, когда захотят. С точки зрения полиции, на самом деле было бы выгодно, чтобы Facebook выполнял всю эту грязную работу, потому что собственные расследования Facebook не должны проходить через судебную систему.

Хотя Facebook, вероятно, чувствует себя слишком финансово защищенным, чтобы превратить это в бизнес (он скорее будет играть роль добропорядочного гражданина), более мелкие компании могут не устоять перед искушением быстро заработать. В 2011 году TomTom, голландская компания спутниковой навигации, которая теперь передала Apple лицензию на некоторые из своих всемогущих технологий, оказалась в центре скандала, связанного с конфиденциальностью, когда выяснилось, что она продавала полиции данные о вождении GPS, полученные от клиентов. Защитник конфиденциальности Крис Согоян также задокументировал простые в использовании интерфейсы «оплаты и прослушивания», которые различные интернет- и мобильные компании установили для правоохранительных органов.

Публично доступная информация тоже доступна. Таким образом, полиция уже изучает социальные сети на предмет признаков беспорядков, часто с помощью частных компаний. Название недавней брошюры Accenture призывает правоохранительные органы «использовать возможности социальных сетей для достижения лучших результатов в работе полиции». Многие компании готовы помочь. ECM Universe, стартап из Вирджинии, США, рекламирует свою систему под названием «Быстрый анализ контента для правоохранительных органов», которая описывается как «решение для наблюдения за социальными сетями, обеспечивающее мониторинг в реальном времени Twitter, Facebook, групп Google и многих других». сообщества, где пользователи свободно выражают свое мнение».

«Это решение, — отмечается в брошюре ECM, — использует текстовый анализ для сопоставления угрожающих высказываний с субъектами наблюдения и предупреждает следователей о предупреждающих знаках». Что за предупреждающие знаки? Недавняя статья в журнале Washington Post отмечает, что ECM Universe помог властям Форт-Лаптона, штат Колорадо, идентифицировать человека, который писал в Твиттере такие угрожающие вещи, как «убивать людей» и «сжигать [ругательные] школы». Это кажется достаточно простым, но что, если это было просто «навредить людям» или «полиция — отстой»?

Поскольку такие компании, как ECM Universe, накапливают обширные архивы твитов и обновлений Facebook, отправленных настоящими преступниками, они также смогут предсказывать виды неопасных словесных сигналов, которые обычно предшествуют преступным действиям. Таким образом, даже если вы напишете в Твиттере о том, что вам не нравится йогурт, к вашей двери может привести полиция, особенно если кто-то, кто написал то же самое три года назад, позже в тот же день выстрелил кому-то в лицо.

Однако, в отличие от Facebook, ни полиция, ни сторонние компании не видят всей картины того, что делают пользователи в социальных сетях: приватное общение и «тихие» действия – переходы по ссылкам и открытие страниц – для них невидимы. Но Facebook, Twitter, Google и подобные им компании наверняка все это знают – поэтому их предсказательная сила гораздо выше, чем у полиции. Они могут даже ранжировать пользователей на основе вероятности совершения ими определенных действий.

Удачной иллюстрацией того, как можно злоупотреблять такой системой, является Силиконовые джунгли, якобы художественное произведение, написанное инженером по интеллектуальному анализу данных Google и опубликованное издательством Princeton University Press – обычно не издательством художественной литературы – в 2010 году. сходство с Google – где летний стажер разрабатывает Terrorist-o-Meter, своего рода универсальный показатель склонности к терроризму, который компания может присваивать всем своим пользователям. Те, кто недовольны своими оценками, конечно, получат возможность их исправить, предоставив еще больше подробностей о себе. Это может показаться безумной идеей, но – возможно, это еще один намек на Google – корпоративная культура Ubatoo настолько одержима инновациями, что ее стажерам разрешено свободно передвигаться, поэтому проект продолжается.

Чтобы создать Terrorist-o-Meter, стажер берет список «интересных» книг, указывающих на потенциальный интерес к подрывной деятельности, и ищет имена клиентов, купивших их в одном из интернет-магазинов Ubatoo. Затем он находит веб-сайты, которые часто посещают эти клиенты, и использует URL-адреса, чтобы найти еще больше людей — и так далее, пока не достигнет магического числа 5,000. Вскоре стажера преследуют как террористическая группа, похожая на «Аль-Каиду», которая хочет, чтобы эти 5,000 имен усилили ее вербовочную кампанию, так и различные оборонные и разведывательные агентства, которым не терпится превентивно отправить эти 5,000 человек в Гуантанамо.

Мы не знаем, есть ли в Facebook какой-то счетчик педофилов. Но, учитывая обширный анализ пользователей, который он уже проводит, вероятно, будет не очень сложно его провести – и не только для оценки педофилов. А как насчет «Друг-о-метра»? Или – Джозефу Маккарти это понравилось бы – «Коммунист-о-метр»? При наличии достаточного количества данных и правильных алгоритмов каждый из нас будет выглядеть подозрительно. Что же произойдет, когда Facebook сдаст нас – до того, как мы совершили какое-либо преступление – в полицию? Будем ли мы, как персонажи романа Кафки, изо всех сил пытаться понять, в чем на самом деле состоит наше преступление, и провести остаток жизни, очищая свои имена? Может быть, Facebook также предложит нам способ заплатить комиссию за восстановление нашей репутации? Что, если его алгоритмы неверны?

Обещание превентивной полицейской деятельности может быть реальным, но не менее реальны и ее опасности. Солюционистский импульс необходимо сдерживать. Полиции необходимо подвергнуть свои алгоритмы внешней проверке и устранить предвзятость. Сайты социальных сетей должны установить четкие стандарты относительно того, в какой степени они будут осуществлять прогнозируемое самоконтроле и как далеко они зайдут в составлении профилей своих пользователей и обмене этими данными с полицией. Хотя Facebook может быть более эффективным, чем полиция, в прогнозировании преступности, нельзя позволить ему взять на себя эти полицейские функции, не соблюдая при этом тех же правил и положений, которые определяют, что полиция может и не может делать в условиях демократии. Мы не можем обходить юридические процедуры и подрывать демократические нормы только во имя эффективности.

Это отредактированный отрывок из книги Евгения Морозова «Чтобы спасти все, щелкните здесь: технологии, солюционизм и стремление исправить несуществующие проблемы», опубликованной Алленом Лейном. 

---