je li moguće reći je li netko kriminalac samo gledajući njegovo lice ili slušajući zvuk njegova glasa? Ideja se može činiti smiješna, poput nečega iz znanstvene fantastike - Big Brother u "1984" otkriva svaki nesvjestan pogled "koji sa sobom nosi sugestiju nenormalnosti" - pa ipak, neke su tvrtke nedavno počele potvrdno odgovarati na ovo pitanje. AC Global Risk, startup osnovan 2016., tvrdi da može odrediti vašu razinu "rizika" kao zaposlenika ili tražitelja azila na temelju ne onoga što kažete, već kako to kažete.
Tvrtka sa sjedištem u Kaliforniji nudi automatizirani sustav provjere poznat kao daljinska procjena rizika ili RRA. Evo kako to funkcionira: klijenti AC Global Riska pomažu u razvoju automatiziranih pitanja za intervju s da ili ne. Grupa ljudi odabranih za određeni pregled zatim odgovara na ova jednostavna pitanja na svom materinjem jeziku tijekom 10-minutnog intervjua koji se može obaviti telefonom. RRA zatim mjeri karakteristike njihova glasa kako bi izradio izvješće o procjeni koje ocjenjuje svakog pojedinca u spektru od niskog do visokog rizika. CEO Alex Martin ima , rekao je da vlastita analiza rizika tvrtke može "zauvijek promijeniti na bolje način na koji se mjeri ljudski rizik".
AC Global Risk, koji se hvali konzultantska tvrtka Roberta Gatesa, Condoleezze Rice i Stephena Hadleyja u svom savjetodavnom odboru, oglašeni ugovori sa Zapovjedništvom specijalnih operacija SAD-a u Afganistanu, Ugandskom upravom za zaštitu divljih životinja i sigurnosnim timovima u Palantir, Apple, Facebook i Google, među ostalima. Opsežna upotreba analize rizika na ovim i drugim tržištima, rekao je Martin, dokazala je da je "vrlo točna, skalabilna, isplativa i sposobna za visoku propusnost." AC Global Risk tvrdi da njegov RRA sustav može istovremeno obraditi stotine pojedinaca bilo gdje u svijetu. Sada, kao odgovor na pozive predsjednika Donalda Trumpa na "ekstremnu provjeru" imigranata, tvrtka je podigao se kao krajnje rješenje za "monumentalnu izbjegličku krizu koju SAD i druge zemlje trenutno doživljavaju".
To je prijedlog koji činilo bi se žaliti se Ministarstvu domovinske sigurnosti SAD-a. DHS je već financirao istraživanje za razvoj slične AI tehnologije za granice. Program, poznat kao Automatizirani virtualni agent za procjenu istinitosti u stvarnom vremenu, ili AVATAR, upotrijebio je umjetnu inteligenciju za mjerenje promjena u glasu, držanju i pokretima lica putnika kako bi označio one koji su izgledali neistinito ili se činilo da predstavljaju potencijalni rizik. U 2012. godini je testiran od strane volontera na američko-meksičkoj granici. Europska unija također je financirala istraživanje tehnologije koja bi smanjila "radno opterećenje i subjektivne pogreške uzrokovane ljudskim agentima".
Neki od vodećih stručnjaka za glasovnu analitiku, algoritamsku pristranost i strojno učenje smatraju da je trend digitalnih poligrafskih testova zabrinjavajući, ukazujući na pogrešnu metodologiju tvrtki poput AC Global Riska. “Postoje neke informacije u dinamičkim promjenama u glasu i oni to otkrivaju. To je savršeno uvjerljivo”, objasnio je Alex Todorov, psiholog sa Sveučilišta Princeton koji proučava znanost o društvenoj percepciji i prvom dojmu. “No pitanje je, koliko su te informacije nedvosmislene u otkrivanju kategorije ljudi koju su definirali kao rizične? Uvijek postoji dvosmislenost u ovakvim signalima.”
Tijekom prošle godine, American Civil Liberties Union i drugi izvijestili su da su agenti granične patrole hvatali ljude iz Greyhoundovih autobusa na temelju njihova izgleda ili naglasak. Budući da agenti carine i granične zaštite već koriste informacije o tome kako netko govori ili izgleda kao izgovor za pretragu pojedinaca u graničnom pojasu od 100 milja ili za uskraćivanje ulaska u SAD, stručnjaci strahuju da bi softver za otkrivanje glasovnih emocija mogao takve pristranosti učiniti rutinom , sveprisutan i naizgled "objektivan".
AC Global Risk odbio je odgovoriti na opetovane zahtjeve za komentarom za ovaj članak. Tvrtka također nije odgovorila na popis detaljnih pitanja o tome kako tehnologija funkcionira. U javnim nastupima, međutim, Martin jest tvrdio da vlasnički analitički procesi tvrtke mogu odrediti nečiju razinu rizika s većom od 97 posto točnosti. (AVATAR, u međuvremenu, tvrdi da je točnost između 60 i 70 posto.) Nekoliko vodećih audiovizualnih stručnjaka koji su pregledali javno dostupne materijale AC Global Riska za The Intercept upotrijebili su riječ "sranje" ili "lažno" kako bi opisali tvrdnje tvrtke. "S etičke točke gledišta, vrlo je dvojbeno i sumnjivo ostaviti dojam da se prepoznavanje prijevare samo na temelju glasa može izvesti s bilo kakvom točnošću", rekao je Björn Schuller, profesor na Sveučilištu u Augsburgu koji je vodio glavnu akademsku studiju na tom području. izazovni događaj za unaprjeđenje stanja tehnike u otkrivanju glasovnih emocija. "Svatko tko kaže da to može učiniti treba se smatrati rizikom."
Risky Business
Trumpova Extreme Vetting Initiative pozvala je na softver koji može automatski "odrediti i procijeniti vjerojatnost podnositelja zahtjeva da postane član društva s pozitivnim doprinosom" i predvidjeti "namjerava li podnositelj zahtjeva počiniti kriminalna ili teroristička djela nakon ulaska u Sjedinjene Države", kako piše The Intercept izvijestio prošlo ljeto. AC Global Risk predstavio se kao savršen alat za provođenje ove inicijative, nuđenje za procjenu “razina rizika pojedinaca s nepoznatom lojalnošću, poput izbjeglica i podnositelja zahtjeva za vizu.” DHS bi, kaže tvrtka, tada odlučio kako će djelovati prema rezultatima tih izvješća. "S četiri razine za rad (niska, prosječna, potencijalna i visoka) ne bi bilo teško uspostaviti protokole odjela prema razini rizika", tvrtka navedeno na svom blogu.
Procjene rizika same po sebi nisu ništa novo. Posljednjih godina uvedeni su algoritmi na gotovo svakoj fazi u procesu kaznenog pravosuđa, od policije i jamčevine do izricanja kazne i uvjetnog puštanja na slobodu. Dolazak takvih tehnika nije izostao polemika. Mnogi od tih automatiziranih alata kritizirani su zbog svojih neprozirnost, tajnosti prednapon. U mnogim slučajevima službenici, sudovi i javnost nisu opremljeni - ili dozvoljen — propitivati njihove temeljne pretpostavke, skupove obuke ili zaključke. Glavna zabrinutost skeptičnih stručnjaka je da objektivna aura strojnog učenja može pružiti uvjerljivo pokriće za diskriminacija.
AC Global Risk daje nekoliko javnih detalja o tome kako funkcionira njegova tehnologija. Ne objavljuje bijele knjige kojima podupire svoje istraživačke tvrdnje i nije objavio znanstvene pedigree svojih istraživača. Tvrtka nije odgovorila na pitanja o tome koje kvalitete (visina, brzina, infleksija) i značajke mjere proizvod. "Koliko god je korištenje procjene rizika u kaznenopravnim okruženjima problematično, mnogo je točnije u usporedbi s alatom ove tvrtke", rekao je Suresh Venkatasubramanian, računalni znanstvenik sa Sveučilišta Utah koji se usredotočuje na algoritamsku pravednost.
Ako je bilo koja od tvrdnji AC Global Riska o njegovoj tehnologiji valjana, ona bi predstavljala vrhunac onoga što istraživači misle da je moguće utvrditi od ljudskog glasa. Glasovne procjene mogu biti izvrsne u brzom otkrivanju demografskih podataka. Ove informacije mogu biti općenite - poput nečije dobi, spola ili dijalekta - ali mogu biti i prilično osobne, otkrivajući određenu regiju iz koje netko dolazi, kao i sve zdravstvene probleme koje bi osoba mogla imati.
Prošlog mjeseca bio je Amazon izdala patent koji bi njegovoj virtualnoj asistentici Alexi omogućio određivanje glasovnih značajki korisnika, uključujući jezik, naglasak, spol i dob. Međutim, kada se radi o određivanju emocija iz glasa, točnost ostaje glavna briga. Schuller, suosnivač tvrtke audEERING, tvrtka za glasovnu analitiku, kaže da trenutačno nije moguće reći laže li netko (ako je laganje, zapravo, jedan od tvrtkinih indeksa rizika) na temelju glasa s većom od 70 posto točnosti, što je otprilike isto kao prosječna ljudska prosudba.
Schuller je rekao da je moguće otkriti opijenost, iskrenost i prijevaru, ali opet, stopa uspješnosti je slična sposobnostima prosječnog čovjeka. “S solidnom oznakom ponekad možete pobijediti čovjeka, ali ako nešto tvrdi da nema pogreške, to treba uzeti s rezervom”, rekao je.
Ključno za procjenu valjanosti tvrdnji AC Global Risksa je što se uklapa pod amorfnu oznaku rizika i tko ga definira. “Oni definiraju rizik kao očigledan, kao da je to univerzalna kvaliteta”, rekao je Joseph Pugliese, australski akademik čiji se rad usredotočuje na biometrijsku diskriminaciju. "To pretpostavlja da ljudi već znaju što je rizik, dok je, naravno, pitanje tko definira parametre rizika i što ih čini politički opterećeno."
Izvršni direktor Alex Martin govorio je o traženju "stvarnog rizika duž kontinuuma koji je prisutan u svakom čovjeku". Ipak, ideja da je rizik urođena i čitljiva ljudska osobina - i da se ta osobina može utvrditi samo iz glasa - počiva na pogrešnim pretpostavkama, objasnio je Todorov, psiholog s Princetona. Naša sposobnost da otkrijemo kako se ljudi zapravo osjećaju u odnosu na to kako mi doživljavamo da se osjećaju bila je notorno težak problem u strojnom učenju, nastavio je Todorov. Mogućnost pogrešnih dojmova može biti dodatno zakomplicirana postavkom evaluacije. “Ljudi na granici već se nalaze u teškim i emocionalno nabijenim okolnostima”, rekao je Pugliese. "Kako se mogu pridržavati na takozvani normalan način?"
Nova fizionomija?
AC Global Risk dio je sve većeg broja tvrtki koje iznose prevelike tvrdnje o sposobnostima svog softvera za analizu ponašanja. Potaknuti promatračkom sposobnošću umjetne inteligencije, mnogi dobavljači biometrije i AI tvrtke prodaju korporacijama i vladama sposobnost da odrede cijele osobnosti prema našim izrazima lica, pokretima i glasovima. Prodavač biometrije na Zimskim olimpijskim igrama u Rusiji 2014., na primjer, skeniran izraze lica sudionika kako bi se državnoj sigurnosnoj agenciji, FSB-u, dala mogućnost da "otkrije nekoga tko izgleda neupadljivo, ali čije uzrujano mentalno stanje signalizira neposrednu prijetnju".
Neki skeptični stručnjaci koji proučavaju umjetnu inteligenciju i ljudsko ponašanje uokvirili su ove alate kao dio rastućeg oživljavanja interesa za fizionomiju, praksu traženja u tijelu znakova moralnog karaktera i kriminalnih namjera. Sredinom 19. stoljeća, precizna mjerenja lubanja i crta lica "rođenih kriminalaca" Cesarea Lombrosa dala su znanstveni pečat ovoj interpretativnoj praksi. Ipak, dok su napori kriminalističkih antropologa poput Lombrosa od tada prebačeni na smetlište opasnog smeća znanosti, želja da se nečiji moralni karakter ili skrivene misli izvedu iz fizičkih karakteristika i ponašanja i dalje je i dalje prisutna.
U osnovi napora AC Global Riska i sličnih tvrtki, kaže Pugliese, pretpostavka je da korelacije velikih podataka mogu zaobići znanstvenu metodu. Ove "fizionomske" aplikacije posebno su zabrinjavajuće, objašnjava on, s obzirom na to da su algoritmi strojnog učenja inherentno dizajnirani za pronalaženje površnih obrazaca (bez obzira jesu li ti obrasci "stvarni") među podacima koji im se daju. "Kada kažu da traže rizik, postoji očigledna ideja da objektivno vjeruju u znakove koji predstavljaju 'zločinačku namjeru'", kaže Pugliese. "Ali ne znamo koji bi stvarni znakovi činili te kriminalne prediktore."
Ipak, razotkrivanje pseudoznanstvenih premisa ove tehnologije ne znači nužno da će je korporacije i vlade koristiti manje vjerojatno. Snaga ovih tehnologija - kao i kod mnogih drugih sustava za predviđanje i rizika - uglavnom se oslanja na njihovo obećanje učinkovitosti i brzine. "Njihova glavna tvrdnja je učinkovitost, ubrzavanje stvari, i u tom smislu, naravno, to će raditi", objasnio je Venkatasubramanian. Drugim riječima, nije važno hoće li ta učinkovitost pomoći ili štetiti životnim šansama onih koji se susreću s tim sustavima. Udaljena procjena rizika vidjet će se da radi ukoliko ljudi budu provodili njezine preporuke. Kao što je Todorov napisao u eseju s dvojicom stručnjaka za strojno učenje kako bi izrazili svoju zabrinutost oko ovog generala trend: "Bilo namjerno ili ne, ovo 'pranje' ljudskih predrasuda putem računalnih algoritama može učiniti te pristranosti objektivno opravdanima."
ZNetwork se financira isključivo velikodušnošću svojih čitatelja.
donacije