AMY GOODMAN: Isto é Democracy Now!, democracynow.org, O informe de guerra e paz. Son Amy Goodman, con Nermeen Shaikh.
A medida que máis público coñece a intelixencia artificial, ou IA, o Senado celebrou unha audiencia este martes sobre como regulala. O presidente do Subcomité de Xustiza do Senado, Richard Blumenthal, abriu a audiencia cunha gravación xerada por intelixencia artificial da súa propia voz, o que algúns chaman unha "falsificación profunda". (Desprácese cara abaixo para a parte 2 desta entrevista.)
SEN. RICHARD BLUMENTHAL: E agora unhas observacións introdutorias.
SEN. CLÓN DE VOZ DE RICHARD BLUMENTHAL: Con demasiada frecuencia, vimos que o que sucede a tecnoloxía supera a regulación: a explotación desenfreada dos datos persoais, a proliferación da desinformación e o afondamento das desigualdades sociais. Vimos como os prexuízos algorítmicos poden perpetuar a discriminación e os prexuízos, e como a falta de transparencia pode socavar a confianza pública. Este non é o futuro que queremos.
SEN. RICHARD BLUMENTHAL: Se estiveses escoitando desde casa, poderías pensar que esa voz era miña e as palabras miñas. Pero, de feito, esa voz non era miña, as palabras non eran miñas e o audio era un software de clonación de voz con intelixencia artificial adestrado nos meus discursos. As observacións foron escritas por ChatGPT cando se preguntou como abriría esta audiencia.
AMY GOODMAN: Google, Microsoft e OpenAI, a startup detrás de ChatGPT, son algunhas das empresas que crean tecnoloxía de intelixencia artificial cada vez máis potente. O CEO de OpenAI, Sam Altman, declarou na audiencia do martes e advertiu sobre os seus perigos.
SAM ALTMAN: Creo que se esta tecnoloxía falla, pode saír bastante mal. E queremos falar diso. Queremos traballar co goberno para evitar que isto suceda. Pero tentamos ter moi claro cal é o caso negativo e o traballo que temos que facer para paliar iso. … É unha das miñas áreas de maior preocupación, a capacidade máis xeral destes modelos de manipular, persuadir, proporcionar unha especie de desinformación interactiva individualizada. … Estamos bastante preocupados polo impacto que isto pode ter nas eleccións. Creo que esta é unha área onde, con sorte, toda a industria e o goberno poden traballar xuntos rapidamente.
AMY GOODMAN: Todo isto ocorre cando os Estados Unidos están atrasados na regulación da IA en comparación coa Unión Europea e China.
Para obter máis información, únete a nós Marc Rotenberg, director executivo do Center for AI and Digital Policy.
Marc, benvido Democracy Now! É xenial terte connosco. Agora, é moi significativo que teñas este CEO de AI dicindo: "Por favor, regúlanos". Pero, de feito, non o fai porque quere que as corporacións se impliquen na regulación? Fala sobre iso, e tamén sobre o que é a IA, para persoas que simplemente non entenden de que se trata.
MARC ROTENBERG: Ben, Amy, en primeiro lugar, grazas por terme no programa.
E en segundo lugar, só para dar un paso atrás, Sam Altman recibiu moita atención esta semana cando declarou no Congreso, pero creo que é moi importante deixar claro ao comezo da nosa discusión que as organizacións da sociedade civil, expertos en IA, tecnoloxía os desenvolvedores levan dicindo durante moitos, moitos anos que aquí hai un problema. E creo que é de vital importancia neste momento da discusión sobre políticas que recoñezamos que estas opinións foron expresadas por persoas como Timnit Gebru e Stuart Russell e Margaret Mitchell e a presidenta da miña propia organización, Merve Hickok, que testificou a principios de marzo antes de o Comité de Supervisión da Cámara que simplemente non temos as garantías establecidas, non temos as normas legais, non temos a experiencia no goberno para o rápido cambio tecnolóxico que está a ter lugar. Entón, aínda que celebramos o apoio do Sr. Altman para o que esperamos sexa unha lexislación forte, non pensamos que deba ser o centro de atención nesta discusión política.
Agora, ata o teu punto, de que trata a IA e por que hai tanto foco? Parte disto trata sobre un cambio moi rápido que se está producindo na tecnoloxía e na industria tecnolóxica que moitas persoas simplemente non viron como ocorreu. Coñecemos problemas coa IA desde hai moitos, moitos anos. Temos decisións automatizadas hoxe amplamente despregadas en todo o noso país que toman decisións sobre as oportunidades de educación, crédito, emprego, vivenda, liberdade condicional, incluso para entrar no país. Todo isto está a facerse mediante sistemas automatizados que dependen cada vez máis de técnicas estatísticas. E estas técnicas estatísticas toman decisións sobre persoas que moitas veces son opacas e non se poden probar. E entón realmente tes unha situación na que as grandes axencias federais e as grandes empresas toman determinacións, e se volves e dixes: "Ben, como, por que me negaron ese préstamo?" ou: "Por que a miña solicitude de visado leva tantos anos?" as propias organizacións non teñen boas respostas.
Entón, iso reflectiuse, en parte, co testemuño de Altman esta semana. Está na primeira liña dunha nova técnica de IA que se denomina xeralmente IA xerativa. Produce información sintética. E se podo facer unha aclaración á súa apertura sobre as observacións do senador Blumenthal, en realidade non eran unha gravación, que é un termo moi familiar para nós. É o que pensamos cando escoitamos a voz de alguén que se reproduce. Iso foi xerado sintéticamente polas declaracións previas do senador Blumenthal. E aí é onde vemos a conexión con conceptos como os falsos profundos. Isto non existe na realidade, senón polo feito de que o creou un sistema de IA.
Temos un enorme reto neste momento para tratar de regular este novo tipo de IA, así como os sistemas preexistentes, que están a tomar decisións sobre as persoas, moitas veces incorporando sesgos, replicando gran parte da discriminación social no noso mundo físico, agora sendo trasladados nestes conxuntos de datos ao noso mundo dixital. E necesitamos a lexislación que estableza as varandas necesarias.
NERMEEN SHAIKH: Marc Rotenberg, podes explicar o feito de que tantos investigadores de intelixencia artificial están preocupados polo que pode levar a intelixencia artificial? Unha enquisa recente mostrou que a metade, o 50%, dos investigadores de IA danlle a IA polo menos un 10% de posibilidades de provocar a extinción humana. Poderías falar diso?
MARC ROTENBERG: Si, así, absolutamente. E, en realidade, eu fun, xa sabes, unha das persoas que asinaron esa carta que circulaba a principios deste ano. Foi unha carta polémica, por certo, porque tendía a centrarse nos riscos existenciais a longo prazo, e incluía preocupacións como perder o control destes sistemas que agora se están a desenvolver. Hai outro grupo na comunidade de IA que creo que dixo moi ben sobre as preocupacións existenciais que tamén necesitamos centrarnos nas preocupacións inmediatas. E falei, por exemplo, hai un momento sobre o sesgo incorporado e a replicación da discriminación. Iso está a suceder agora mesmo. E ese é un problema que hai que resolver agora mesmo.
Agora, a miña propia opinión, que non é necesariamente a de todos os demais, é que ambos grupos están enviando advertencias poderosas sobre onde estamos. Creo que os grupos que din que temos o risco de perder o control, que inclúe a moitos eminentes informáticos que gañaron o premio Turing, que é como o Nobel de informática, creo que teñen razón. Creo que hai un risco real de perder o control. Pero tamén estou de acordo coa xente, xa sabes, do AI Now Institute e do Distributed AI Research Institute en que temos que resolver os problemas cos sistemas que xa están implantados.
E esta tamén é a razón pola que eu estaba, francamente, moi feliz coa audiencia do Senado desta semana. Foi unha audiencia moi boa. Houbo moi boas discusións. Sentín que os membros da comisión viñan ben preparados. Fixeron boas preguntas. Houbo unha gran discusión sobre propostas concretas, obrigas de transparencia, garantías de privacidade, límites de computación e capacidade de IA. E apoiei moito o que dixo o senador Blumenthal ao principio. Xa sabes, dixo, "Necesitamos construír regras para a transparencia, a responsabilidade e necesitamos establecer algúns límites de uso". Pensei que ese era un excelente lugar para comezar unha discusión nos Estados Unidos sobre como establecer garantías para o uso da intelixencia artificial.
NERMEEN SHAIKH: E, Marc Rotenberg, cales son os beneficios dos que se fala a xente con respecto á intelixencia artificial? E tendo en conta o ritmo, como dixeches, ao que se estende, estes rápidos avances tecnolóxicos, hai algunha maneira de detelo neste momento?
MARC ROTENBERG: Ben, non hai dúbida de que a IA, quero dicir, en liñas xerais, e, xa sabes, por suposto, é un termo amplo, e mesmo os expertos, por suposto, nin sequera están de acordo exactamente sobre a que nos referimos, pero digamos que a IA, en liñas xerais, xa sabes, está a contribuír á innovación no campo médico, por exemplo, grandes avances co pregamento de proteínas. Está a contribuír á eficiencia na administración das organizacións, a mellores formas de identificar os fallos de seguridade nos produtos e no transporte. Creo que non hai disputa. Quero dicir, é un pouco como falar de lume ou electricidade. É un destes recursos fundamentais na era dixital que está amplamente implantado. Pero do mesmo xeito que co lume ou a electricidade, entendemos que para manter - para obter os beneficios, xa sabes, tamén hai que poñer algunhas garantías e algúns límites. E ves que estamos realmente nun momento no que as técnicas de IA están sendo amplamente implantadas sen apenas garantías nin límites. E é por iso que tantas persoas na comunidade de IA están preocupadas. Non é que non vexan os beneficios. É que ven os riscos se seguimos por este camiño.
AMY GOODMAN: Ben, queremos falar de cales deben ser esas salvagardas e investigar aínda máis como é que a intelixencia artificial pode levar á extinción dos humanos na Terra. Estamos a falar con Marc Rotenberg, o director executivo do Center for AI and Digital Policy. Farémolo Parte 2, poñelo en liña en democracynow.org. Son Amy Goodman, con Nermeen Shaikh.
Parte 2: Historia da Intelixencia Artificial, como incorpora a parcialidade, despraza aos traballadores, mentres o Congreso atrasa na regulación
AMY GOODMAN: Isto é Democracy Now!, democracynow.org, O informe de guerra e paz. Son Amy Goodman, con Nermeen Shaikh, mentres vos presentamos a segunda parte da nosa conversa con Marc Rotenberg, director executivo do Centro de IA e Política Dixital.
A medida que máis público coñece a intelixencia artificial, ou IA, o Senado celebrou unha audiencia este martes sobre como regulala. O senador de California, Alex Padilla, expresou a súa preocupación polo feito de que a maioría das investigacións sobre a IA se realicen en inglés e descoidan outros idiomas.
SEN. ALEX PADILLA: O meu entendemento é que a maioría das investigacións para avaliar e mitigar os danos da equidade concentráronse na lingua inglesa, mentres que as linguas non inglesas recibiron comparativamente pouca atención ou investimento, e que xa vimos este problema antes. Vouche dicir por que plantexo isto. As empresas de redes sociais, por exemplo, non investiron axeitadamente en ferramentas e recursos de moderación de contido para o seu idioma que non é o inglés. E comparto isto non só por preocupación polos usuarios que non residen en Estados Unidos, senón que moitos usuarios estadounidenses prefiren un idioma que non sexa o inglés na súa comunicación. Entón, estou profundamente preocupado por repetir o fracaso das redes sociais nas ferramentas e aplicacións de IA.
AMY GOODMAN: Tamén declarou na vista o profesor emérito de psicoloxía e neurociencia da Universidade de Nova York Gary Marcus.
GARY MARCUS: Unha das cousas que máis me preocupan co GPT-4 é que non sabemos en que está adestrado. Supoño que Sam sabe, pero o resto de nós non. E o que se adestra ten consecuencias, esencialmente, para os prexuízos do sistema. Poderíamos falar diso en termos técnicos, pero como estes sistemas poden orientar á xente depende en gran medida dos datos que se adestran neles. E por iso, necesitamos transparencia respecto diso. E probablemente necesitamos científicos alí facendo análises para comprender cales poden ser as influencias políticas, por exemplo, destes sistemas. E non só se trata de política. Pode ser sobre saúde. Podería tratarse de calquera cousa. Estes sistemas absorben moitos datos, e despois o que din reflicte eses datos, e van facelo de forma diferente dependendo do que hai neses datos. Así que marca a diferenza se están adestrados O Wall Street Journal En oposición a The New York Times ou Reddit. Quero dicir, en realidade, están en gran parte adestrados en todo isto, pero realmente non entendemos a composición diso. E así temos este problema de potencial manipulación. E aínda é máis complexo que iso, porque é unha manipulación sutil. A xente pode non ser consciente do que está a suceder.
AMY GOODMAN: Entón, seguimos con Marc Rotenberg, director executivo do Center for AI and Digital Policy. E todos estes son puntos realmente críticos que se plantexaron na audiencia do Senado. Pero antes de abordalos, todo, por exemplo, a maior parte da investigación está feita sobre a IA inglesa, dános a historia da intelixencia artificial.
MARC ROTENBERG: Ben, é unha gran pregunta, Amy. E levo moitos, moitos anos neste campo. Lembro, xa sabes, vaia, volvendo aos anos 1970, e a xente falaba de se un ordenador podía vencer a un xogador de xadrez humano. E nos primeiros días, centrábase moito na informática e no xadrez. E alí foi onde fixen os meus primeiros traballos. E adoitabamos deseñar o que chamabamos sistemas de IA; en realidade eran sistemas expertos, grandes árbores de decisión baseadas en regras. E, en realidade, poderías, cun ordenador, escribir un programa sólido, basicamente, que avaliaría, mirando unha posición determinada, as distintas opcións, puntuaría as opcións, escollería a mellor opción, anticiparía o mellor movemento e profundizaría cada vez máis en a árbore de decisión baseada na súa capacidade de cálculo. E eses programas en realidade fixéronse bastante fortes. Eu estaba en Filadelfia, de feito, en 1997, cando o programa IBM, Deep Blue, venceu ao campión mundial de xadrez, Garry Kasparov, que foi un momento, sabes? Quero dicir, hai un ordenador que golpea a un humano nunha actividade moi, xa sabes, o que dirían algunhas persoas, unha actividade avanzada.
Pero este é o punto importante para que os teus oíntes o entendan. Mesmo naqueles anos 1990, cando un ordenador podía vencer a Kasparov, podías abrir o programa. Poderías ver como se produciron os movementos. Podes rastrexar a árbore de decisións. Xa sabes, engadirías máis coñecementos de gran mestre nunha posición final se o ordenador tivese dificultades con iso. E realmente era algo baixo o control humano, tan avanzada como era a tecnoloxía. Pero a IA comezou a cambiar e a IA pasou cara ás técnicas de aprendizaxe automática. E realmente non son un experto alí, pero podo dicirche que, en xeral, as técnicas de aprendizaxe automática implican moitos datos e moito procesamento dentro do programa para tratar de avaliar como atopar o mellor resultado.
Entón, vouvos falar agora doutra partida de xadrez, o que pasou, que pasou en 2017. E nese ano, un novo programa, baseado na aprendizaxe automática, chamado AlphaZero, venceu ao antigo programa informático reinante chamado Stockfish, o un coas árbores de decisión que podería abrir e arranxar. E a xente mirou o resultado e quedaron impresionados. AlphaZero fixera, xa sabes, movementos brillantes. Gañara ao vixente campión de informática, que xa era mellor que ao actual campión humano. Pero a xente non puido probar os resultados. Non podían entender por que o programa fixo un movemento en particular, porque agora os datos de adestramento eran tan complexos e os procedementos e técnicas, xa sabes, eran tan complicados.
E creo que, para moitas persoas, isto supuxo unha verdadeira preocupación. Xa sabes, por unha banda, tes esta tremenda sensación de logro, que sei que a xente de AlphaZero e DeepMind implicadas nese proxecto fixeron. E, por outra banda, afástase diso, e pregúntase a pregunta: ¿E se un destes sistemas se utilizase para asesorar ao presidente nun conflito global ou para redactar, xa sabe, lexislación ou para elaborar un diagnóstico médico? Realmente queres resultados que non se poidan demostrar, que non se poidan replicar, que non sigan todas as técnicas tradicionais do método científico?
E esta preocupación, xa sabes, que aparece en segundo plano, digamos, acelerouse recentemente debido a ChatGPT, porque agora viu a capacidade da IA avanzada - chamémoslle así, polo momento, IA avanzada - para producir texto, para producir discurso, para producir imaxes, para producir vídeo, e mesmo as persoas que crearon os sistemas non puideron explicarche exactamente como ocorreu.
E por iso, por exemplo, volvendo aos clips do principio, xa sabes, o senador Padilla ten toda a razón. Quero dicir, como avaliamos un sistema cando xa sabemos que hai sesgo nos datos de adestramento se é todo texto en inglés? E Gary Marcus tiña toda a razón. Quero dicir, chamou a isto unha tormenta perfecta. Xa sabes, dixo que temos corporacións a correr con novos produtos, que non temos barandillas instaladas e que temos un enorme risco para o público de que estes sistemas non estean regulados.
Entón, estou usando o exemplo do xadrez para axudar á xente a comprender que hai unha forma de facer IA onde manteñas o control, promoves a innovación, tes resultados espectaculares e hai unha forma de facer IA que, xa sabes, francamente, dá un pouco de medo.
NERMEEN SHAIKH: E cales son as preocupacións particulares? Quero dicir, en primeiro lugar, Marc, se podería explicar a intelixencia xeral artificial e cales son as preocupacións específicas respecto diso? Quero dicir, isto é AlphaZero, era un exemplo de intelixencia xeral artificial? Se puideses explicar?
MARC ROTENBERG: Certo. Polo tanto, en xeral, no pasado pensamos na IA como axuda a resolver un problema en particular, como cando un radiólogo intenta interpretar unha radiografía. Agora temos técnicas baseadas na IA, baseadas en moitos datos de adestramento que fan un traballo moi bo, xa sabes, identificando os riscos de cancro mediante o exame da imaxe dixital producida por unha radiografía. E pensaríamos niso, como o xadrez, como unha aplicación particular da IA.
A pregunta interesante agora é se podemos desenvolver sistemas de IA que poidan moverse por varios dominios e proporcionar información sen adestramento en ningún campo específico. E, de feito, o modelo proporcionado por AlphaZero é un exemplo diso, porque, xa vedes, ese programa, aínda que era moi bo no xadrez, non estaba realmente adestrado na pericia dos grandes mestres. Non era un sistema experto antigo. En realidade era un sistema baseado en regras que dicía: "Como se xoga este xogo? Vale, agora voume, xogarei 10 millóns de veces”, e fíxome extremadamente forte.
Vemos isto tamén coa IA xerativa, que, xa sabes, está formada no texto de internet e formada no texto das solicitudes de marca rexistrada e formada no texto de grandes libros. Cando teñas tanta información, xa sabes, podes facer a pregunta: "Quen son os cinco principais pintores do Renacemento?" obtén unha resposta sorprendentemente boa e, a continuación, fai a pregunta: "Cales son os mellores procedementos de seguridade se unha casa arde?" e outra resposta notablemente boa. Iso é o que, xa sabes, comeza a sentir a IA xeral, porque non é para unha aplicación específica que alguén ten predeterminado.
NERMEEN SHAIKH: Marc, volvamos á audiencia do martes e discutamos cales son algunhas das formas en que se podería regular esta tecnoloxía. O presidente da Subcomisión do Poder Xudicial do Senado, Richard Blumenthal, advertiu tamén do perigo de repetir os erros da Sección 230, dous-tres-cero, que protexe ás empresas de Internet da responsabilidade por contidos ilícitos publicados polos usuarios e permítelles eliminar publicacións legais pero objetables.
SEN. RICHARD BLUMENTHAL: Cando as empresas de IA e os seus clientes causen danos, deberían ser responsables. Non debemos repetir os nosos erros pasados, por exemplo, a Sección 230. Obrigar ás empresas a pensar adiante e ser responsables das ramificacións das súas decisións comerciais pode ser a ferramenta máis poderosa de todas. Lixo dentro, lixo fóra: o principio aínda se aplica. Debemos ter coidado co lixo, xa sexa para entrar nestas plataformas ou saír delas.
NERMEEN SHAIKH: Marc Rotenberg, se puidese responder ao que dixo o senador Blumenthal?
MARC ROTENBERG: Certo. Ben, quedei moi satisfeito de que dixese iso. En realidade, era unha opinión que, xa sabes, expresaron os membros de ambos os partidos. A referencia aquí é a unha disposición dunha lei de 1996 que outorgaba unha ampla inmunidade ás empresas de internet pola información que publicaban e, francamente, beneficiaron a través do modelo de publicidade que se desenvolveu ao longo dos anos. Estiven implicado en 1996 na elaboración da lexislación. Nese momento, pareceuse apropiado. Internet aínda estaba nos seus primeiros tempos, e non había grandes empresas tecnolóxicas que dominasen, como é o caso hoxe.
Pero creo que a moitos de nós -seino- co paso do tempo se fixo evidente que a Sección 230 debía ser reformada, se non derrogada. Unha das desafortunadas consecuencias desa disposición de inmunidade foi permitir que as compañías de Internet reunisen unha gran cantidade de lectores e ingresos das organizacións de noticias tradicionais. Entón, paradoxalmente, ao protexer as empresas de internet, en realidade prexudicou ás organizacións de noticias que intentaban facer que o seu traballo estea dispoñible en liña. E eu estaba moi, moi preocupado por iso.
Pero de novo, a boa noticia é que o senador Blumenthal e outros basicamente dixeron que, con respecto á industria da IA, non volverán cometer ese erro. E en realidade é moi doado ver como podería xurdir exactamente o mesmo problema, porque estes modelos de IA, especialmente os modelos xerativos de IA, basicamente recollen tantos datos doutros como poden, e creo que será moi difícil manter empresas e organizacións independentes sen un mellor enfoque da responsabilidade. Entón, ese foi un sinal positivo, e creo que houbo apoio bipartidista.
AMY GOODMAN: Permíteme preguntarche, Marc Rotenberg, sobre a folga da WGA que está a suceder e como se relaciona isto coa IA. Tes, por exemplo, -ben, xa entrou na súa terceira semana- a actriz e científica informática Justine Bateman publicando un fío de tweet que detalla como a intelixencia artificial podería perturbar a industria do entretemento e falou sobre o que os actores poden facer para protexerse. Pero fala sobre cales son as demandas da WGA dos estudos e por que a intelixencia artificial é tan central e ameaza para os postos de traballo.
MARC ROTENBERG: Certo. Teño un pouco de comprensión das disposicións da WGA: perdón, posición na actual negociación. Eu vin un dos puntos de negociación, e preocupouse de se, de feito, as técnicas de IA xerativa poderían usarse, xa sabes, para escribir guións, por exemplo. E creo que o sindicato, con toda razón, quere trazar unha liña forte alí e dicir: "Non, non queremos que o noso traballo sexa substituído por máquinas".
E xa o estamos vendo na industria das noticias, de feito. Unha das organizacións de noticias: esquezo o nome, pero anunciaron despedimentos de persoal, porque ven eficiencia e economía, e despois, francamente, máis rendibilidade, se poden usar, digamos, xa sabe, un supervisor e 10 programas xerativos de IA, en oposición a un editor e 10 escritores. IBM, de feito, anunciou recentemente que vai substituír a moitos dos seus empregados por programas que cre que poden asumir esas responsabilidades.
Agora, por suposto, hai tempo que hai un debate interesante no campo sobre o impacto da tecnoloxía no emprego. E hai unha opinión de que, xa sabes, aínda que se perdan algúns postos de traballo, crearanse novos postos de traballo, e moitas veces poden ser mellores. Non son un experto nese tema, pero vou dicir isto. O cambio que se está a producir agora mesmo está a suceder tan rápido, que realmente me pregunto se mesmo os que cren que aparecerán novos traballos finalmente pensan que iso vai ocorrer o suficientemente rápido. E a lectura que fixen de moitos dos principais defensores da IA (incluíndo, por exemplo, Kai-Fu Lee en China e Eric Schmidt aquí nos EE. UU.), xa sabes, ambos queren manter o goberno fóra do camiño e A IA para ser amplamente implantada. Están anticipando altos niveis de desemprego. E moitos están empezando a falar, xa sabes, dunha necesidade crecente de renda básica universal para axudar ás persoas que van perder o seu traballo por mor da IA. Entón, para min, este momento paréceme un pouco máis urxente que o debate tradicional sobre tecnoloxía e emprego. E creo que é correcto que o Gremio de Escritores plantexa agora estas cuestións. Sospeito que moitos outros tamén o serán.
AMY GOODMAN: E, xa sabes, por suposto, hai moita sopa de letras aquí, desde AI ata WGA, que é, como acabas de dicir, Writers Guild of America. Nermeen?
NERMEEN SHAIKH: Entón, Marc, se puideses explicar tamén, quero dicir, hai múltiples riscos que a xente sinalou sobre a forma en que a intelixencia artificial podería comprometer o proceso democrático, non só aquí coas eleccións, senón en todo o mundo. Se puideses explicar como puido ocorrer iso e onde xa o fomos testemuña?
MARC ROTENBERG: Certo. Entón, esta é outra área onde a IA se move moi rapidamente. E non creo que teñamos a experiencia ou as regras axeitadas para responder ás consecuencias, e particularmente aquí nos Estados Unidos, onde, lamentablemente, xa sabes, hai unha crecente desconfianza cara ás institucións, unha crecente desconfianza nas noticias, realmente unha incapacidade para poñerse de acordo. sobre feitos básicos. Podes amplificar e acelerar esas tendencias mediante técnicas de IA.
E permítanme explicar brevemente como funciona. Poderíamos pensar, por exemplo, que a preocupación tradicional é, xa sabes, a propaganda ou as declaracións falsas que se publican para confundir á xente, para enganar á xente. Non hai nada novo sobre ese tipo de comunicación: desinformación, tamén poderíamos chamalo. Con técnicas de intelixencia artificial e con datos persoais, agora existe a capacidade de orientar, perfilar, involucrar, preparar individuos, que é altamente eficiente, altamente persuasivo e moi difícil, en realidade, de prever ou de avaliar. Esta é unha das cuestións, en realidade, que Gary Marcus plantexou ao comité esta semana. Quero dicir, temos interaccións coa xente, xa sabes, por teléfono, digamos, ou por Zoom. Podemos xulgar con quen falamos e por que din o que din, e temos certa capacidade innata para avaliar o comportamento humano que nos axuda polo menos a resolver a verdade e a falsidade. Coa IA xerativa, será cada vez máis fácil e cada vez máis barato reproducir voz humana, palabras humanas, imaxes humanas e vídeos para persuadir á xente.
Entón, o senador Blumenthal, nese clip que proporcionou ao principio, foi bastante amable no seu exemplo, porque pediu ao programa que simplemente dixese palabras que probablemente dixese, baseándose nas súas declaracións anteriores. En realidade, soaba a el. Pero imaxinemos un escenario diferente, quizais do opoñente do senador Blumenthal na próxima carreira para o Senado en Connecticut, que usa exactamente esa mesma tecnoloxía e que o senador Blumenthal diga, na súa voz, algunhas cousas verdadeiramente escandalosas, non? O tipo de cousas que dis, que escoitas e dis: "Oh, Deus! ¿De verdade dixo iso? E entón, por suposto, xa sabes, Blumenthal poñerase nesta posición de dicir: "Ben, ese non fun eu. Xa sabes, ese foi un programa informático xerado polo meu opoñente. Nunca diría tales cousas". E as persoas que agora teñen estas dúas declaracións en conflito son como: "Si, pero, xa sabes, soaba moito a ti. Non?"
E ese escenario, creo que moitas persoas no mundo da IA están realmente preocupadas. Hai un artigo, creo, só esta semana O Atlántico por un filósofo de Tufts que fala da creación de persoas falsificadas. A IA xerativa fai posible crear, xa sabes, persoas falsificadas. E teremos que desenvolver as habilidades críticas, mentres maniobramos por este entorno dixital, para poder avaliar, xa sabes, o que é verdade e o que non.
AMY GOODMAN: Xa sabes, podes pensar en todo tipo de cousas. Por exemplo, Donald Trump se postula para presidente, non é que lle importen os feitos, pero, xa sabes, unha gravación del hai décadas dicindo que cre totalmente no dereito das mulleres a elixir un aborto. El dixo: "Sabes, veño de Nova York. Así é como me sinto". Só podo dicir que é unha tecnoloxía falsa. Tes esta última, cintas de Giuliani que saen dunha demanda contra el, onde a muller que o acusa de agresión sexual gravou varias cousas. Só pode dicir: "Isto é un falso". Tes unha tecnoloxía falsa e profunda impulsada pola intelixencia artificial que xa interfire nas eleccións democráticas en Turquía. Un vídeo que pretende ser unha cinta sexual filtrada dun candidato presidencial foi lanzado en internet antes da primeira rolda de votación do domingo pasado. Abandonou a carreira, dicindo que era un vídeo falso profundo, un vídeo falso, imaxes falsas. A súa resposta?
MARC ROTENBERG: Ben, Amy, o teu punto é realmente moi importante, porque estaba describindo, por suposto, como se poden usar as técnicas de intelixencia artificial para persuadir á xente con información falsa, pero tamén a presenza de técnicas de intelixencia artificial pode dificultar establecer o que é verdadeiro, porque outros poden dicir: "Oh, ben, xa sabes, ese vídeo que creaches", o que é certo, por certo, "foi xerado pola IA e, polo tanto, é algo que a xente pode descartar". Entón, cando entramos nunha era na que cada vez é máis fácil fabricar e persuadir con materiais sintéticos xerados pola IA, así como diminuír o que é verdade poñendo en dúbida o que vemos no mundo dixital, é realmente unha ameaza para razón pública e ás institucións democráticas.
E isto tamén... xa sabes, só direi que fixen un revisar non hai moito tempo dun libro de Eric Schmidt e Henry Kissinger, chamado Huttenlocher no MIT A Era da IA. E en xeral parecían optimistas ante a posibilidade de que a IA levase a unha mellor toma de decisións e apoiase as institucións democráticas. E lin ese libro, mirei os seus exemplos e saín, xa sabes, coa conclusión case oposta. Xa sabes, dixeron que isto nos levará máis aló da era da razón, e eu dixen que isto nos levará de volta a unha era de fe, onde teremos que confiar simplemente na saída dos sistemas de IA e perder a nosa capacidade de razoar. debate e debate no contexto da democracia.
Pero sen, xa sabes, chegar demasiado aquí abaixo, quero de novo compartir contigo e cos teus espectadores e oíntes, a audiencia do Senado desta semana foi moi boa. Realmente foi un fito e un desenvolvemento positivo nos Estados Unidos. Como dixeches ao comezo deste segmento, Estados Unidos quedou atrás doutros países. De feito, elaboramos un informe anual chamado "Índice de Intelixencia Artificial e Valores Democráticos" e valoramos e clasificamos os países en función das súas políticas e prácticas de intelixencia artificial sobre o aliñamento cos valores democráticos. E estivemos realmente preocupados polos Estados Unidos durante os últimos anos: demasiadas reunións secretas, demasiadas reunións con directores tecnolóxicos, non avances suficientes na lexislación. Pero creo que estamos a virar unha esquina, e creo que a audiencia do Senado desta semana, que, como dixen ao principio, en realidade respondeu a algunhas das preocupacións que o meu compañeiro Merve Hickok suscitara na audiencia de Supervisión da Cámara a principios de marzo. é realmente unha boa noticia.
NERMEEN SHAIKH: Marc Rotenberg, podería explicar tamén cales son as preocupacións que se expresaron sobre o uso da intelixencia artificial, a tecnoloxía de recoñecemento facial, a biometría na policía e a inmigración?
MARC ROTENBERG: Certo. Entón, ese é un tema moi importante. E iso lévanos a un dos debates críticos sobre a política de IA, que é se os gobernos terán a capacidade de trazar liñas vermellas para crear prohibicións sobre determinadas técnicas de IA que violan os dereitos humanos fundamentais. Hai unha tendencia no mundo da tecnoloxía, cando se identifica un problema, a dicir: “Oh, xa sabes, estás aí. A ver se podemos arranxalo. E despois seguiremos co sistema, agora que solucionamos o problema". Creo que o que din as ONG e as organizacións de dereitos humanos, en realidade hai certas aplicacións da IA que non deberían permitirse.
Así, por exemplo, o uso da IA para a vixilancia facial. E uso ese termo, "vixilancia facial", basicamente, para distinguir o tipo de recoñecemento facial que facemos cando abrimos o noso iPhone, por exemplo, e esa é unha técnica de autenticación baixo o teu control. Iso non é realmente un problema. Pero cando estás facendo iso, e non está no teu control senón no control do goberno, entón é unha forma de vixilancia masiva, porque agora non só tes cámaras nas rúas, senón que tes cámaras nas rúas que teñen a capacidade de identificar persoas, e non só identificar persoas, senón vincular a súa imaxe e identidade a unha base de datos que as perfila, e quizais mesmo as clasifica en función da súa alianza co goberno. Entón, por suposto, xa sabes, ese sistema agora está amplamente implantado en China. Está sendo considerado noutros países. Ese tipo de vixilancia facial, vixilancia masiva, cremos, simplemente debería prohibirse. Cremos que a categorización biométrica, tentando extraer persoas en función de factores biométricos, tamén debería estar prohibida. A puntuación social, que é, de novo, o esforzo por aliñar a identidade dunha persoa co seu apoio ao Estado.
E a boa noticia aquí, se me permite dicir un par de palabras máis, é que traballando coa organización internacional UNESCO na súa recomendación de ética da IA, que foi adoptada en 2021, agora temos, polo menos en principio, 193 países que dixeron A IA non debe usarse para a vixilancia masiva e a IA non debe usarse para a puntuación social. E así, cando o senador Blumenthal esta semana, ao comezo da audiencia dixo: "Necesitamos establecer transparencia e responsabilidade e límites de uso", xa sabes, eu estaba a pensar: "Guau! ese é un gran momento”, porque dicir “límites de uso” é responder precisamente á pregunta que vostede plantexa e aos puntos que fixeron as ONG e os grupos de dereitos humanos: realmente necesitamos algunhas prohibicións. A industria tecnolóxica pode dicir: "Ben, podemos ser xustos. Podemos estar abertos. Podemos ser responsables". Esas palabras non son suficientemente boas. Necesitamos algunhas liñas brillantes.
AMY GOODMAN: Xa sabes, cando estivemos en Sundance hai uns anos, houbo este incrible documental chamado Prexuízo codificado, unha exploración sobre as consecuencias da investigadora do MIT Media Lab - ela é negra - Joy Buolamwini, un descubrimento do prexuízo racial no recoñecemento facial por parte da intelixencia artificial e como se usa contra persoas negras, persoas de cor. Podes ampliar isto, Marc?
MARC ROTENBERG: Si, en realidade é unha gran película, e son un gran fan de Joy. Ela lanzou unha organización chamada Algorithmic Justice League, que foi realmente un dos primeiros grupos, e o seu traballo, en particular, para chamar a atención sobre o problema do sesgo integrado na IA.
E o feito notable que descubriu mentres facía a súa investigación no MIT foi que, como muller negra, estes sistemas non funcionaban tan ben en canto a identificala polas características faciais, pero cando se puxo unha máscara branca na cara, sistema de recoñecemento comezou a funcionar. E foi un recordatorio moi duro, creo, sobre o tipo de sesgo que está incorporado a moitos destes sistemas. E ese prexuízo, por certo, pode vir de moitas fontes diferentes. Xa sabes, parte é sobre os datos. Parte diso é sobre as persoas que codifican os sistemas. Parte diso trata sobre a estrutura e o propósito das empresas que implantan os sistemas. En realidade existe a moitos niveis diferentes.
E, xa sabes, a súa película, Prexuízo codificado, é realmente algo que mostramos aos participantes na nosa Clínica de Política de IA, porque queremos que a xente entenda como é ese problema. E como dixen anteriormente, xa sabes, aínda que comparto as preocupacións dos que están preocupados polo risco a longo prazo, creo que debemos tratar agora mesmo a forma en que os sistemas de IA incorporan sesgos. E Joy e a Algorithmic Justice League acaban de facer un traballo tremendo chamando a atención sobre ese problema.
NERMEEN SHAIKH: E, Marc, poderías explicar, só explica sobre iso, como a IA xa incorpora sesgos, como dicías, que Joy sinalou e a quen entrevistamos en Sundance. Poderías explicar exactamente como isto ocorre xa? En que contexto se utiliza esa tecnoloxía?
MARC ROTENBERG: Certo. Ben, é un campo grande e complexo. E de verdade, espero que teñas outros no teu programa para falar sobre algúns destes temas. Mencionei o Instituto AI Now. Mencionei o Distributed AI Research Institute, as moitas persoas que estudaron este tema máis ca min.
Pero direi, como avogado, un escenario, que entendo bastante ben, xorde no contexto do sistema de xustiza penal e sentenza. E, xa sabes, quero dicir, os xuíces están desbordados, e están a tratar moitos casos. E chegan a unha decisión de condena e, xa sabes, o fiscal pode dicir: "Para este mozo branco, recomendamos unha condena de seis meses" e, unha hora máis tarde, dicir: "Para este mozo negro, nós recomenda unha condena de nove meses". E o xuíz, xa sabes, escoita estas dúas recomendacións e fai, francamente, a pregunta obvia, xa sabes: cal é a base da disparidade na recomendación de sentenza? E a resposta en todos os Estados Unidos está volvendo, cada vez máis: "Ben, estas recomendacións veñen dun programa moi sofisticado que analizou moitos datos, que analizaron as dúas persoas na súa corte hoxe, Señoría. E en base a algunha información propietaria, tamén, que en realidade non podemos revelar, pero cunha boa información e avaliación estatística, podemos asegurarlle ao tribunal que se o obxectivo é reducir a reincidencia”, que é a probabilidade de volver comprometerse. un delito penal, "xa sabes, o delincuente branco recibe a condena de seis meses, e o delincuente negro recibe a condena de nove meses".
E, xa sabes, o que ves inmediatamente no escenario aquí que preocupa moito é que, xa sabes, quizais a condena de nove meses está xustificada, quizais a de seis meses está xustificada, pero en realidade non temos o capacidade para poder comprender como se produciron eses resultados, para impugnar eses resultados. Quizais estaban equivocados. Quizais houbo un erro mesmo na entrada do nome da persoa, a súa idade ou o seu enderezo ou outros factores que contribuíron á puntuación. E, xa vedes, volvemos na situación do programa de xadrez en 2017, onde vemos un resultado, e non sabemos como se produciu.
E de feito falei con xuíces federais sobre este problema. E din: “Ben, fálase moito de human-in-the-loop. E así, por suposto, non imos simplemente aceptar a recomendación da IA. Xa sabes, vai haber unha persoa que vai tomar unha decisión final”. Pero os xuíces tamén admiten que estes sistemas son complexos. Están, xa sabes, apoiados por expertos. É difícil para o xuíz impugnar o resultado. E, de feito, convértense como un selo de goma.
Entón, se podo compartir outro pensamento cos teus oíntes e espectadores, realmente afasteime deste concepto de human-in-the-loop, aínda que é moi popular no mundo da IA. Creo que realmente necesitamos dicir, "AI-in-the-loop, humanos a cargo". E iso significa, volvendo a este exemplo de sentenza penal, se a xuíza non está satisfeita de que poida entender e xustificar o resultado, creo que só quitamos a IA. Non creo que teñamos unha situación na que supoñamos que a saída xerada pola IA vai ser a saída correcta. E, por suposto, este exemplo que estou dando, nun campo que coñezo un pouco, está a suceder con decisións en materia de vivenda e crédito, emprego, inmigración, contratación. Está moi replicado en todo o país,
AMY GOODMAN: Marc, non temos moito tempo, pero só queriamos rematar preguntando pola túa organización, o Center for AI and Digital Policy.
MARC ROTENBERG: Ben, grazas, Amy. E grazas de novo pola oportunidade de estar contigo esta mañá.
Lanzamos esta organización porque pensamos que había unha necesidade urxente de aliñar as técnicas de IA cos valores democráticos e de formar á próxima xeración de líderes en políticas de IA. Levamos varios anos impartindo cursos e, creo, proporcionamos certificacións a case 500 persoas en 60 países. Coñeceron os marcos de políticas democráticas, o marco da UNESCO e algúns dos outros. Agardamos que a través da organización, sexamos capaces de producir persoas que estean ben formadas para participar nestes debates e poñer en marcha boas regras. Non estamos en contra da tecnoloxía, pero pensamos que a tecnoloxía debe permanecer sempre baixo o control humano. Apoiamos o estado de dereito, os valores democráticos e os dereitos fundamentais. Esa é realmente a nosa misión.
AMY GOODMAN: Ben, Marc Rotenberg, queremos agradecerche moito por estar connosco, director executivo do Center for AI and Digital Policy. Ver Parte 1 da nosa discusión, vai a democracynow.org. Son Amy Goodman, con Nermeen Shaikh. Moitas grazas por acompañarnos.
ZNetwork está financiado unicamente pola xenerosidade dos seus lectores.
doar